在python爬虫的多个框架中scrapy是使用最多，功能最为完善的一个框架。但是很多小伙伴只会使用它而不知道它是怎么运行的，那这样在进行一些数据处理或者是反爬处理时就会有难度了。所以下面这一篇文章会给大家带来python爬虫框架scrapy运行机智的详细解析，一起看看吧。
一、Scrapy框架组件
在这个爬虫框架之中去实现数据的抓出的话是通过多个不同的组件之间协调调用去完成的，主要的组件有这个几个：
1.爬虫：这个是实现抓取网页数据功能的核心组件，从特点的网页之中提取出实体数据。
2.下载器：在爬虫抓取到了数据之后还需要将数据下载下来然后才能够返回给程序。
3.引擎：这个是Scrapy框架最核心的组件，它是用来处理整个爬虫程序的事务和数据流的功能。
4.中间件：这是多个组件的统称，它们的功能和作用都是用来在不同的组件之间进行连接和传输数据。
二、Scrapy框架的运行机制
首先是通过引擎去从调度器的多个网页链接之中取一个出来决定这次的抓取方向，然后将链接通过中间件发送给爬虫，爬虫抓取到数据之后使用下载器将网页数据下载下来后返回到程序之中。
返回到了程序里面就可以使用scrapy框架的爬虫去解析数据了，数据解析完毕后得出实体数据交给管道保存，然后继续重复提取链接抓取数据的过程。
以上就是python爬虫框架Scrapy的运行机制详解了，希望对你有所帮助。
