PYTHON 七月 31, 2019

7.Scrapy框架

文章字数 3.2k 阅读约需 3 mins. 阅读次数 1000000


Scrapy


概述:是一个爬虫框架,提取结构性的数据。其可以应用在数据挖掘,信息处理等方面。提供了许多的爬虫的基类,帮我们更简便使用爬虫。基于Twisted

首先安装依赖库Twisted

pip install (依赖库的路径)

在这个网址http://www.lfd.uci.edu/~gohlke/pythonlibs#twisted 下面去寻找符合你的python版本和系统版本的Twisted

然后在安装scrapy框架

pip install scrapy

【注意】路径名不能有中文,不能用管理员进入cmd,电脑系统用户路径不能是中文


框架简介


该框架是一个第三方的框架,许多功能已经被封装好(比如:下载功能)

由五部分构成:

引擎、下载器、爬虫、调度器、管道(item和pipeline)

以上五部分我们只需要关心其中的两部分:爬虫和管道

spiders:蜘蛛或爬虫,我们分析网页的地方,我们主要的代码写在这里

管道:包括item和pipeline,用于处理数据

其他部分:了解

引擎:用来处理整个系统的数据流,触发各种事务(框架的核心)

下载器:用于下载网页内容,并且返回给蜘蛛(下载器基于Twisted的高效异步模型)

调度器:用来接收引擎发过来的请求,压入队列中等处理任务


简单用法


(1)创建项目

指令:scrapy startproject 项目名

(2)项目目录结构

firstSpider
    firstSpider
        spiders           爬虫目录(写代码位置)
            __init__.py
            myspider.py       爬虫文件,以后的爬虫代码写在这里
        __init__.py
        items.py                定义数据结构地方
        middlewares.py    中间件(了解)
        pipelines.py      管道文件
        settings.py       项目配置文件
    scrapy.cfg

项目创建处理,里面是没有爬虫的,我们需要通过指令来创建一个爬虫:

cd firstSpider/firstSpider
scrapy genspider qiubai “www.qiushibaike.com"

以上指令完事后,就会在firstSpider/firstSpider/spiders里面自动创建一个qiubai.py

  • qiubai.py文件:

    • name: 爬虫的名字,启动的时候根据爬虫的名字启动项目

    • allowed_domains:允许的域名,就是爬取的时候这个请求要不要发送,如果是该允许域名之下的url,就会发送,如果不是,则过滤掉这个请求,这是一个列表,可以写多个允许的域名

    • start_urls:爬虫起始url,是一个列表,里面可以写多个,一般只写一个

      def parse(self, response): 
        pass
      #这个函数非常重要,就是你以后写代码的地方,parse函数名是固定的,
      #当收到下载数据的时候会自动的调用这个方法,该方法第二个参数为
      #response,这是一个响应对象,从该对象中获取html字符串,然后解析之
      #【注】这个parse函数必须返回一个可迭代对象

(3)定制item.py, 其实就是您的数据结构,格式非常简单,复制粘贴即可

(4)撰写蜘蛛

打印response对象,简单跑一把

指令:cd firstSpider/firstSpider/spiders

scrapy crawl qiubai

【注意】第一次抓取的时候如果出错,则 pip install pypiwin32

  • 根据response获取网页内容
    • response.text 字符串类型
    • response.body 二进制类型

(5)运行

  • scrapy crawl qiubai -o qiubai.json 保存为json文件
  • crapy crawl qiubai -o qiubai.xml 保存为xml文件
  • scrapy crawl qiubai -o qiubai.csv 保存为csv文件

用Scrapy写爬虫的一步骤:

1)创建项目 scrapy startproject 项目名

2)创建爬虫 scrapy genspider 爬虫名 域名

3)根据需求编写item

4)在spiders里面解析数据

5)在管道中处理解析完的数据

6)运行: scrapy crawl 爬虫名 [-o xx.json/xml/csv]


原理


scrapy原理


上一篇:
下一篇:
0%