下面使用表格中提供的方法定位 input 输出框。如下所示：

1. #创建browewr是浏览器对象
2. browser = webdriver.Chrome()
3. #访问某个url得到上述代码片段
4. browser.get('url')
5. #通过id定义输入框
6. brower.dr.find_element_by_id("kw")
7. #通过class定义
8. brower.find_element_by_class_name("s_ipt_wr")
9. #通过name定位
10. brower.find_element_by_name("wd")
11. #通过tag name定位:
12. brower.find_element_by_tag_name("input")
13. #通过xpath定位
14. brower.find_element_by_xpath("//*[@id='kw']")
15. #通过css选择器定位
16. brower.find_element_by_css_selector("#kw")

通过 a 标签内的文本内容定位节点，如下所示：

C语言中文网

hao123

示例如下：

1. #使用全部文本内容定位链接
2. brower.find_element_by_link_text("c语言中文网")
3. #使用部分文本内容定位链接
4. brower.find_element_by_partial_link_text("123")

如果您想定位一组元素，方法如下所示：

find_elements_by_id()

find_elements_by_name()

find_elements_by_class_name()

find_elements_by_tag_name()

find_elements_by_link_text()

find_elements_by_partial_link_text()

find_elements_by_xpath()

find_elements_by_css_selector()

定位一组元素的方法与定位单个元素类似，唯一的区别就是 element 后面多了一个 s（表示复数），因此上述方法的返回值是一个列表，您可以使用 for 循环拿到所有的元素节点。

控制浏览器

Selenium 可以操控浏览器的窗口大小、刷新页面，以及控制浏览器的前进、后退等

1) 设置浏览器窗口大小、位置

1. from selenium import webdriver
3. driver = webdriver.Chrome()
4. driver.get("http://www.baidu.com")
5. #参数数字为像素点
6. driver.set_window_size(480, 800)
7. #设置窗口位置
8. driver.set_window_position(100,200)
9. #同时设置窗口的大小和坐标
10. driver.set_window_rect(450,300,32,50)
11. #退出浏览器
12. driver.quit()
13. from selenium import webdriver
15. driver = webdriver.Chrome()
16. # 访问C语言中文网首页
17. first_url= 'http://c.biancheng.net'
18. driver.get(first_url)
20. # 访问c语言教程
21. second_url='http://c.biancheng.net/c/'
22. driver.get(second_url)
24. # 返回（后退）到c语言中文网首页
25. driver.back()
27. # 前进到C语言教程页
28. driver.forward()
30. # 刷新当前页面相当于F5
31. driver.refresh() 
33. # 退出/关闭浏览器
34. driver.quit()

2) 控制网页前进、后退、刷新页面

WebDriver常用方法

上文中介绍了如何定位元素，以及如何设置浏览的大小、位置。 定位元素节点只是第一步， 定位之后还需要对这个元素进行操作， 比如单击按钮，或者在输入框输入文本 ， 下面介绍 WebDriver 中的最常用方法：

# 请求url

get(url)

# 模拟键盘输入文本

send_keys (value)

# 清除已经输入的文本

clear()：

# 单击已经定位的元素

click()：

# 用于提交表单，比如百度搜索框内输入关键字之后的“回车” 操作

submit()：

#返回属性的属性值，返回元素的属性值，可以是id、name、type 或其他任意属性

get_attribute(name)

# 返回布尔值，检查元素是否用户可见，比如 display属性为hidden或者none

is_displayed()

示例如下：

1. from selenium import webdriver
2. import time
3. driver = webdriver.Chrome()
4. driver.get("https://www.baidu.com")
5. #模拟键盘，输出文本
6. driver.find_element_by_id("kw").send_keys("C语言中文网")
7. #单击“百度”一下查找
8. driver.find_element_by_id("su").click()
9. time.sleep(3)
10. #退出浏览器
11. driver.quit()

除了上述方法外， WebDriver 还有一些常用属性，如下所示：

1. from selenium import webdriver
2. driver = webdriver.Chrome()
3. # 获取HTML结构源码
4. driver.page_source
5. #在源码中查找指定的字符串
6. driver.page_source.find('字符串')
7. # 返回百度页面底部备案信息
8. text = driver.find_element_by_id("cp").text
9. print(text)
10. # 获取输入框的尺寸
11. size = driver.find_element_by_id('kw').size
12. print(size)

输出结果：

?2015 Baidu 使用百度前必读 意见反馈 京 ICP 证 030173 号

{'width': 500, 'height': 22}

Selenium事件处理

Selenium WebDriver 提供了一些事件处理函数（鼠标、键盘等），下面我们对常用的事件函数做简单介绍。

1) 鼠标事件

Selenium WebDriver 将关于鼠标的操作方法都封装在 ActionChains 类中，使用时需要引入 ActionChains 类，如下所示：

from selenium.webdriver.common.action_chains import ActionChains

该类包含了鼠标操作的常用方法：

示例如下：

1. from selenium import webdriver
2. #导入 ActionChains 类
3. from selenium.webdriver.common.action_chains import ActionChains
5. driver = webdriver.Chrome()
6. driver.get("http://c.biancheng.net")
7. # 通过xpath表达式定位到要悬停的元素
8. above = driver.find_element_by_xpath('//ul[@id="ad-link-top"]/li[1]')
9. # 对定位到的元素执行鼠标悬停操作
10. ActionChains(driver).move_to_element(above).perform()

2) 键盘事件

Selenium  WebDriver 的 Keys 模块提供了模拟键盘输入的 send_keys() 方法，除此之外，该模块也提供了操作键盘的其他方法，比如复制、粘贴等等。

在使用之前，首先需要导入 Keys 类，如下所示：

from selenium.webdriver.common.keys import Keys

下面列举了一些常用方法：

示例如下：

1. from selenium import webdriver
2. # 引入 Keys 模块
3. from selenium.webdriver.common.keys import Keys
5. driver = webdriver.Chrome()
6. driver.get("http://www.baidu.com")
8. # 输入框输入内容
9. driver.find_element_by_id("kw").send_keys("C语言中文网H")
11. # 删除多输入的一个H
12. driver.find_element_by_id("kw").send_keys(Keys.BACK_SPACE)
13. #单击“百度”一下查找
14. driver.find_element_by_id("su").click()
15. time.sleep(3)
16. driver.quit()

其它键盘操作方法，如下所示：

1. # 输入空格键 + “Python教程”
2. driver.find_element_by_id("kw").send_keys(Keys.SPACE)
3. driver.find_element_by_id("kw").send_keys("Python教程")
5. # ctrl+a 全选输入框内容
6. driver.find_element_by_id("kw").send_keys(Keys.CONTROL, 'a')
8. # ctrl+x 剪切输入框内容
9. driver.find_element_by_id("kw").send_keys(Keys.CONTROL, 'x')
11. # ctrl+v 粘贴内容到输入框
12. driver.find_element_by_id("kw").send_keys(Keys.CONTROL, 'v')
14. # 使用回车键来代替单击操作click
15. driver.find_element_by_id("su").send_keys(Keys.ENTER)

无界面浏览器

Chromedriver 每一次运行都要打开浏览器，并执行相应的输入、搜索等操作，这样会导致浏览器交互能力变差，浪费许多时间。 Selenium 为了增强浏览器的交互能力，允许您使用无头浏览器模式，也就是无界面浏览器，它被广泛的应用于爬虫和自动化测试中。通过以下代码可以设置无头浏览器模式：

1. from selenium import webdriver
2. import time
3. options=webdriver.ChromeOptions()
4. options.add_argument('--headless')#无界面浏览
5. driver=webdriver.Chrome(options=options)
6. driver.get('https://www.baidu.com')
7. kw1=driver.find_element_by_id('kw')
8. print(driver.title)
9. time.sleep(3)
10. #关闭当前界面，只有一个窗口
11. driver.close()
12. #关闭所有界面
13. driver.quit()

除了可以设置无头界面之外，Selenium 还支持其他一些浏览器参数设置，如下所示：

opption.add_argument('--window-size=600,600') #设置窗口大小

opption.add_argument('--incognito') #无痕模式

opption.add_argument('--disable-infobars') #去掉chrome正受到自动测试软件的控制的提示

opption.add_argument('user-agent="XXXX"') #添加请求头

opption.add_argument("--proxy-server=http://200.130.123.43:3456")#代理服务器访问

opption.add_experimental_option('excludeSwitches', ['enable-automation'])#开发者模式

opption.add_argument('blink-settings=imagesEnabled=false')  #禁止加载图片

opption.add_argument('lang=zh_CN.UTF-8') #设置默认编码为utf-8

opption.add_extension(create_proxyauth_extension(

           proxy_host='host',

           proxy_port='port',

           proxy_username="username",

           proxy_password="password"

       ))# 设置有账号密码的代理

opption.add_argument('--disable-gpu')  # 这个参数可以规避谷歌的部分bug

opption.add_argument('--disable-javascript')  # 禁用javascript

opption.add_argument('--hide-scrollbars')  # 隐藏滚动条

执行JS脚本

WebDriver 提供了 execute_script() 方法来执行 JavaScript 代码，比如控制浏览器的滚动条。示例如下：

1. from selenium import webdriver
2. from time import sleep
4. # 访问百度
5. driver=webdriver.Chrome()
6. driver.get("http://www.baidu.com")
7. # 最大化浏览器窗口
8. driver.maximize_window()
9. # 搜索
10. driver.find_element_by_id("kw").send_keys("C语言中文网")
11. driver.find_element_by_id("su").click()
12. sleep(3)
14. # 通过js代码设置滚动条位置，数值代表(左边距，上边距)
15. js="window.scrollTo(100,500);"
16. #执行js代码
17. driver.execute_script(js)
18. sleep(5)
19. driver.quit()

如果想了解更多关于 Selenium 的知识，请参考官方文档：https://www.selenium.dev/documentation/en/

34Python Selenium爬虫实战应用

本节讲解 Python Selenium 爬虫实战案例，通过对实战案例的讲解让您进一步认识 Selenium 框架。

实战案例目标：抓取京东商城（https://www.jd.com/）商品名称、商品价格、评论数量，以及商铺名称。比如输入搜索“Python书籍”，则抓取如下数据：

{'name': 'Python编程 从入门到实践 第2版 人民邮电出版社', 'price': '￥52.50', 'count': '200+条评价', 'shop': '智囊图书专营店'}

{'name': 'Python编程 从入门到实践 第2版(图灵出品)', 'price': '￥62.10', 'count': '20万+条评价', 'shop': '人民邮电出版社'}

...

Selenium 框架的学习重点在于定位元素节点，关于如何定位，我们已经介绍了 8 种方法，其中 Xpath 表达式适用性强，并且便捷。因此，建议大家多多熟悉 Xpath 表达式的相关语法规则。本节案例中很大一部分采用了 Xpath 表达式定位元素，希望帮助您温故知新。

本节案例中涉及了几个技术难点：第一，如何下拉滚动条下载商品，第二，如何实现翻页，也就是抓取下一页的内容，第三，如何判断数据已经抓取完毕，即终止页。下面我们逐步讲解。

实现自动搜索

实现自动输出、自动搜索是最基础的一步。首先定位输入框的的节点，其次定位搜索按钮节点，这与实现百度自动搜索思路一致，最关键就是要正确定位元素节点。

通过开发者调试工具检查相应的的位置，可得如下 Xpath 表达式：

输入框表达式：//*[@id="key"]

搜索按钮表达式：//*[@class='form']/button

代码如下所示：

1. from selenium import webdriver
3. broswer=webdriver.Chrome()
4. broswer.get('https://www.jd.com/')
5. broswer.find_element_by_xpath('//*[@id="key"]').send_keys("python书籍")
6. broswer.find_element_by_xpath("//*[@class='form']/button").click()

滚动滑动条

实现了自动搜索后，接下来就是要抓取页面中的商品信息，而您会发现只有将滑动条滚动至底部，商品才会全部加载完毕。滚动滑轮操作的代码如下：

1. # scrollTo(xpos,ypos)
2. # execute_script()执行js语句，拉动进度条件
3. #scrollHeight属性，表示可滚动内容的高度
4. self.browser.execute_script(
5. 'window.scrollTo(0,document.body.scrollHeight)'#拉动进度条至底部
6. )

之后在通过 Xpath 表达式匹配所有商品，并将它们放入一个大列表中，通过循环列表取出每个商品，最后提取出想要的信息。

1. li_list=self.browser.find_elements_by_xpath('//*[@id="J_goodsList"]/ul/li')
3. for li in li_list:
4. item={} 
5. # 提取商品名
6. item['name']=li.find_element_by_xpath('.//div[@class="p-name"]/a/em').text.strip()
7. # 提取价格
8. item['price']=li.find_element_by_xpath('.//div[@class="p-price"]').text.strip()
9. # 提取评论数量
10. item['count']=li.find_element_by_xpath('.//div[@class="p-commit"]/strong').text.strip()
11. # 提取商家店铺
12. item['shop']=li.find_element_by_xpath('.//div[@class="p-shopnum"]').text.strip()

实现翻页抓取

如何实现翻页抓取数据，并判断数据数据已经抓取完毕呢？这其实并不难想到，我们可以先跳至终止页（即最后一页）。此时最后一页的“下一页”处于不可用状态，其元素节点如下：

终止页下一页class属性：下一页 >

其他页下一页class属性：下一页 >

如果页面源码中有上述代码存在，则证明此页是最后一页，若没有则不是。因此通过 if ...else 语句即可实现上述需求，如下所示：

1. #-1说明没找到,不是最后一页,执行点击 “下一页” 操作
2. if self.browser.page_source.find('pn-next disabled')==-1:
3. browser.find_element_by_class_name('pn-next').click()

完整程序代码

完整程序代码如下所示：

1. #coding:utf8
2. from selenium import webdriver
3. import time
4. import pymongo
6. class JdSpider(object):
7. def __init__(self):
8. self.url='http://www.jd.com/'
9. self.options=webdriver.ChromeOptions() # 无头模式
10. self.options.add_argument('--headless')
11. self.browser=webdriver.Chrome(options=self.options) # 创建无界面参数的浏览器对象
12. self.i=0  #计数，一共有多少件商品
14. #输入地址+输入商品+点击按钮，切记这里元素节点是京东首页的输入栏、搜索按钮
15. def get_html(self):
16. self.browser.get(self.url)
17. self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('python书籍')
18. self.browser.find_element_by_xpath("//*[@class='form']/button").click()
20. #把进度条件拉倒最底部+提取商品信息
21. def get_data(self):
22. # 执行js语句，拉动进度条件
23. self.browser.execute_script(
24. 'window.scrollTo(0,document.body.scrollHeight)'
25. )
26. # 给页面元素加载时预留时间
27. time.sleep(2)
28. #用 xpath 提取每页中所有商品，最终形成一个大列表
29. li_list=self.browser.find_elements_by_xpath('//*[@id="J_goodsList"]/ul/li')
31. for li in li_list:
32. #构建空字典
33. item={}  
34. item['name']=li.find_element_by_xpath('.//div[@class="p-name"]/a/em').text.strip()
35. item['price']=li.find_element_by_xpath('.//div[@class="p-price"]').text.strip()
36. item['count']=li.find_element_by_xpath('.//div[@class="p-commit"]/strong').text.strip()
37. item['shop']=li.find_element_by_xpath('.//div[@class="p-shopnum"]').text.strip()
38. print(item) 
39. self.i+=1
41. def run(self):
42. #搜索出想要抓取商品的页面
43. self.get_html()
44. #循环执行点击“下一页”操作
45. while True:
46. #获取每一页要抓取的数据
47. self.get_data()
48. #判断是否是最一页
49. if self.browser.page_source.find('pn-next disabled')==-1:
50. self.browser.find_element_by_class_name('pn-next').click()
51. #预留元素加载时间
52. time.sleep(1)
53. else:
54. print('数量',self.i)
55. break
58. if __name__ == '__main__':
59. spider=JdSpider()
60. spider.run()

输出结果如下：

{'name': 'Python编程 从入门到实践 第2版(图灵出品) 人民邮电出版社', 'price': '￥52.50', 'count': '200+条评价', 'shop': '智囊图书专营店'}

{'name': 'Python编程 从入门到实践 第2版(图灵出品)', 'price': '￥62.10', 'count': '20万+条评价', 'shop': '人民邮电出版社'}

{'name': 'Python编程三剑客：Python编程从入门到实践第2版+快速上手第2版+极客编程（套装共3册）', 'price': '￥206.90', 'count': '5万+条评价', 'shop': '人民邮电出版社'}

{'name': 'Python数据分析从入门到实践（excel高效办公）（3全彩版）', 'price': '￥46.10', 'count': '10万+条评价', 'shop': '明日科技京东自营旗舰店'}

{'name': '零基础学Python（编程入门 项目实践 同步视频）（3全彩版）', 'price': '￥37.50', 'count': '10万+条评价', 'shop': '明日科技京东自营旗舰店'}

{'name': 'Python编程快速上手 让繁琐工作自动化 第2版', 'price': '￥44.50', 'count': '10万+条评价', 'shop': '人民邮电出版社'}

{'name': '现货包邮Python学习手册（原书第5版）上下册2本/计算机编程设计|8053406', 'price': '￥142.30', 'count': '100+条评价', 'shop': '互动创新图书专营店'}

{'name': '零基础入门学习Python（第2版）', 'price': '￥70.30', 'count': '1万+条评价', 'shop': '清华大学出版社'}

{'name': '超简单：用Python让Excel飞起来', 'price': '￥34.90', 'count': '2万+条评价', 'shop': '机械工业出版社自营官方旗舰店'}

{'name': '流畅的Python(图灵出品)', 'price': '￥109.80', 'count': '2万+条评价', 'shop': '人民邮电出版社'}

{'name': 'Python编程从入门到实践第二版 python编程从入门到实战零基础自学教程计算机基础语言数据分析', 'price': '￥49.80', 'count': '5000+条评价', 'shop': '墨马图书旗舰店'}

{'name': 'Python深度学习：基于PyTorch', 'price': '￥73.40', 'count': '5万+条评价', 'shop': '机械工业出版社自营官方旗舰店'}

{'name': 'Python自然语言处理实战：核心技术与算法 自然语言处理教程', 'price': '￥48.30', 'count': '37条评价', 'shop': '芝麻开门图书专营店'}

{'name': 'Effective Python：编写高质量Python代码的90个有效方法（原书第2版）', 'price': '￥110.60\n￥105.10', 'count': '2万+条评价', 'shop': '机械工业出版社自营官方旗舰店'}

...

Selenium 自动化爬虫让你无须关心网站的类型（静态或者动态），只需您按部就班的寻找元素节点，并依此点击，即可实现数据抓取。不过  Selenium 最大的缺点就是效率低，因此它只适合做小规模的数据采集工作。

35Python Scrapy爬虫框架详解

Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。

提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。

Scrapy下载安装

Scrapy 支持常见的主流平台，比如 Linux、Mac、Windows 等，因此你可以很方便的安装它。本节以 Windows 系统为例，在 CMD 命令行执行以下命令：

python -m pip install Scrapy

由于 Scrapy 需要许多依赖项，因此安装时间较长，大家请耐心等待，关于其他平台的安装方法，可参考官方文档《Scrapy安装指南》。

验证安装，如下所示：

C:\Users\Administrator>python

Python 3.7.4 (tags/v3.7.4:e09359112e, Jul  8 2019, 19:29:22) [MSC v.1916 32 bit (Intel)] on win32

Type "help", "copyright", "credits" or "license" for more information.

>>> import scrapy

>>> exit()

如果可以正常执行exit()操作，并且没有出现 ERROR 错误，则说明安装成功。

创建Scrapy爬虫项目

Scrapy 框架提供了一些常用的命令用来创建项目、查看配置信息，以及运行爬虫程序。常用指令如下所示：

1) 创建第一个Scrapy爬虫项目

下面创建名为 Baidu 的爬虫项目，打开 CMD 命令提示符进行如下操作：

C:\Users\Administrator>cd Desktop

C:\Users\Administrator\Desktop>scrapy startproject Baidu

New Scrapy project 'Baidu', using template directory 'd:\python\python37\lib\site-packages\scrapy\templates\project', created in:

    C:\Users\Administrator\Desktop\Baidu

# 提示后续命令操作

You can start your first spider with:

    cd Baidu

    scrapy genspider example example.com

打开新建的项目“Baidu”会有以下项目文件，如图所示：

图1：项目文件

接下来，创建一个爬虫文件，如下所示：

C:\Users\Administrator\Desktop>cd Baidu

C:\Users\Administrator\Desktop\Baidu>scrapy genspider baidu www.baidu.com

Created spider 'baidu' using template 'basic' in module:

  Baidu.spiders.baidu

下面呈现了项目的目录树结构，以及各个文件的作用：

Baidu                   # 项目文件夹

├── Baidu               # 用来装载项目文件的目录

│   ├── items.py        # 定义要抓取的数据结构

│   ├── middlewares.py  # 中间件，用来设置一些处理规则

│   ├── pipelines.py    # 管道文件，处理抓取的数据

│   ├── settings.py     # 全局配置文件

│   └── spiders         # 用来装载爬虫文件的目录  

│       ├── baidu.py    # 具体的爬虫程序

└── scrapy.cfg          # 项目基本配置文件

 从上述目录结构可以看出，Scrapy 将整个爬虫程序分成了不同的模块，让每个模块负责处理不同的工作，而且模块之间紧密联系。因此，您只需要在相应的模块编写相应的代码，就可以轻松的实现一个爬虫程序。

Scrapy爬虫工作流程

Scrapy 框架由五大组件构成，如下所示：

在整个执行过程中，还涉及到两个 middlewares 中间件，分别是下载器中间件（Downloader Middlewares）和蜘蛛中间件（Spider Middlewares），它们分别承担着不同的作用：

• 下载器中间件，位于引擎和下载器之间，主要用来包装 request 请求头，比如 UersAgent、Cookies 和代理 IP 等
• 蜘蛛中间件，位于引擎与爬虫文件之间，它主要用来修改响应对象的属性。

Scrapy 工作流程示意图如下所示：

图1：工作流程示意图

上述示意图描述如下，当一个爬虫项目启动后，Scrapy 框架会进行以下工作：

• 第一步：由“引擎”向爬虫文件索要第一个待爬取的 URL，并将其交给调度器加入 URL 队列当中（对应图中1/2步骤）。 
• 第二步：调度器处理完请求后， 将第一个 URL 出队列返回给引擎；引擎经由下载器中间件将该  URL 交给下载器去下载 response 对象（对应3/4步骤）。
• 第三步：下载器得到响应对象后，将响应结果交给引擎，引擎收到后，经由蜘蛛中间件将响应结果交给爬虫文件（对应5/6步骤）。
• 第四步：爬虫文件对响应结果进行处理、分析，并提取出所需要的数据。
• 第五步：最后，提取的数据会交给管道文件去存数据库，同时将需要继续跟进的二级页面 URL 交给调度器去入队列（对应7/8/9步骤）。

上述过程会一直循环，直到没有要爬取的 URL 为止，也就是 URL 队列为空时才会停止。

settings配置文件

在使用 Scrapy 框架时，还需要对配置文件进行稍微改动。下面使用 Pycharm 打开刚刚创建的“Baidu”项目，对配置文件进行如下修改：

# 1、定义User-Agent

USER_AGENT = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'

# 2、是否遵循robots协议，一般设置为False

ROBOTSTXT_OBEY = False

# 3、最大并发量，默认为16

CONCURRENT_REQUESTS = 32

# 4、下载延迟时间

DOWNLOAD_DELAY = 1

其余常用配置项介绍：

# 设置日志级别，DEBUG < INFO < WARNING < ERROR < CRITICAL

LOG_LEVEL = ' '

# 将日志信息保存日志文件中，而不在终端输出

LOG_FILE = ''

# 设置导出数据的编码格式(主要针对于json文件)

FEED_EXPORT_ENCODING = ''

# 非结构化数据的存储路径

IMAGES_STORE = '路径'

# 请求头，此处可以添加User-Agent、cookies、referer等

DEFAULT_REQUEST_HEADERS={

   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

   'Accept-Language': 'en',

}

# 项目管道，300 代表激活的优先级 越小越优先，取值1到1000

ITEM_PIPELINES={

  'Baidu.pipelines.BaiduPipeline':300

}

# 添加下载器中间件

DOWNLOADER_MIDDLEWARES = {}

想要了解更多关于 Scrapy 框架的知识，可参考官方文档：https://docs.scrapy.org/en/latest/index.html

36实战一

通过上一节《Python Scrapy爬虫框架详解》的学习，您已经对 Scrapy 框架有了一个初步的认识，比如它的组件构成，配置文件，以及工作流程。本节将通过一个的简单爬虫项目对 Scrapy 框架做进一步介绍。

首先看一个简单的示例，比如把 C语言中文网首页的“title”抓取下来，如下所示：

1.  lang="zh-cn">
3.  charset="gb2312" />
4.  name="baidu-site-verification" content="6B13HRSfYA" />
5.  rel="shortcut icon" href="/cpp/favicon.ico" />
7. ....