Tag: Scrapy - 文武の客

「 PYTHON 」七月 31, 2019

文章字数 27k 阅读约需 25 mins. 阅读次数 1000000

创建项目： scrapy startproject 项目名

scrapy startproject myFirstScrapy

创建爬虫： scrapy genspider 爬虫名域...

查看全文

「 PYTHON 」七月 31, 2019

文章字数 3.2k 阅读约需 3 mins. 阅读次数 1000000

概述：是一个爬虫框架，提取结构性的数据。其可以应用在数据挖掘，信息处理等方面。提供了许多的爬虫的基类，帮我们更简便使用爬虫。基于Twisted

首先安装依赖库Twisted

pip install （依赖库的路径）

在这个网址http://www.lfd.uci.edu/~gohlke/pythonlibs#twisted 下面去寻找符合你的python版本和系统版本的Twisted

然后在安装scrapy框架

pip install scrapy

【注意】路径名不能有中文，不能用管理员进...

查看全文