Scrapy的一个简单入门
安装和文档:
- 安装:通过
pip install scrapy
即可安装。 - Scrapy官方文档:http://doc.scrapy.org/en/latest
- Scrapy中文文档:http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
如果在windows
系统下,提示这个错误ModuleNotFoundError: No module named 'win32api'
,那么使用以下命令可以解决:pip install pypiwin32
。
案例:
创建项目:
进入到你想把这个项目存放的目录。然后使用控制台创建项目:
scrapy startproject demo
目录结构介绍:
提取下一页的链接的时候,使用xpath的"//span[contains(text(),'下一页')]/../@href"先定位到span节点,在定位到父节点a,获取链接.
参考资料https://blog.csdn.net/zjiang1994/article/details/52779537