【爬虫框架】分布式爬虫

scrapy-redis和scrapy有什么区别？

scrapy是一个通用的爬虫，但是它不支持分布式，scrapy需要怎样才能实现分布式？

1.一个共享的调度器，用与给分布式下的各个机器调度、分配请求队列，包括去重等功能。

2.一个共享的管道，进行各个机器下爬取的数据集中管理。

scrapy-redis组件，可以为原生的scrapy框架提供可以被共享的调度器与管道。

创建工程：

一、创建一个CrawlSpider的爬虫文件

scrapy startproject xxx

cd xxx

scrapy genspider -t crawl xxx www.xxx.com

二、修改当前的爬虫文件

导包：from scrapy_redis.spiders import RedisCrawlSpider

将当前爬虫类的父类修改成RedisCrawlSpider

将start_urls和allowed_domains进行注释

添加一个新属性：redis_key = 'sun' 可以被共享的调度器队列的名称

编写数据解析相关的操作

三、修改配置文件settings

使用可共享的管道：

ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 400
}

使用可共享的调度器：

# 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy-redis组件自己的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
SCHEDULER_PERSIST = True

四、redis相关配置

修改配置文件：

linux或者mac：redis.conf

windows:redis.windows.conf

将 bind 127.0.0.1 注释，因为需要其他机器连接

将 protected-mode yes 改为no，关闭保护模式

开启redis服务

redis-server 配置文件

启动客户端

redis-cli -h IP地址 -p 端口号

五、将工程赋值到其他机器，执行工程，将会等待起始url：

scrapy runspider xxx.py

六、在客户端向调度器队列放入起始url，爬虫开始爬取

lpush xxx www.xxx.com