Scrapy学习(二) 框架结构分析
Scrapy学习(二) 框架结构分析
在对Scrapy进行深入学习之前，我们需要对其框架有一定的了解，才能更好的运用Scrapy进行编程
Scrapy结构
对Scrapy结构进行解读，将解读下图：
网上流传甚广的Scrapy结构图 Scrapy分为Scheduler, Downloader, Spiders, Item Pipeline和ScrapyEngine五个组分。| 组分名称 | 作用 |
|---|---|
| Scheduler | 调度器，对整体进行调度，负责从Spiders接受存放url和向Downloader发送下载请求 |
| Downloader | 下载器，接受Requests和向Spiders发出下载到的Responses |
| Spiders | 负责处理来自Downloader的Responses，把新requests发送给Scheduler，再把需要的Items给Item Pipeline处理 |
| Item Pipeline | 处理，保存数据 |
| Scrapy Engine | 整体管理 |
如果再具象一点，就像是一个工厂流水线，Scheduler是老板，负责调度员工和处理订单；Downloader是搬运工人，从网上搬运内容；Spiders是会计，负责向老板提交新订单和接受搬运工的信息；Item Pipeline是仓库管理员，将收集到的信息整理、登记、储存起来。
实际上，幸运的是，这样的一个结构中的大部分已经被安排好了，我们需要编写的内容只有Item Pipeline中的规则，Spiders的规则和Scheduler要访问的页面与访问规则。