Scrapy的一个简单入门


安装和文档:

  1. 安装:通过pip install scrapy即可安装。
  2. Scrapy官方文档:http://doc.scrapy.org/en/latest
  3. Scrapy中文文档:http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

  如果在windows系统下,提示这个错误ModuleNotFoundError: No module named 'win32api',那么使用以下命令可以解决:pip install pypiwin32

案例:

创建项目:

进入到你想把这个项目存放的目录。然后使用控制台创建项目:

scrapy startproject demo

目录结构介绍:

提取下一页的链接的时候,使用xpath的"//span[contains(text(),'下一页')]/../@href"先定位到span节点,在定位到父节点a,获取链接.

参考资料https://blog.csdn.net/zjiang1994/article/details/52779537

相关