Scrapy爬虫框架安装及常用命令行

Windows 安装方式

升级 pip 版本：

pip install --upgrade pip

通过 pip 安装 Scrapy 框架:：

pip install Scrapy

安装后，只要在命令终端输入 scrapy，提示类似以下结果，代表已经安装成功。

新建项目

scrapy startproject mySpider

在项目中，创建爬虫

scrapy genspider baidu "baidu.com"

运行项目

scrapy crawl baidu

setting设置

ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'