pyspider使用记录1


1,因为没有人更新了,安装步骤有点烦琐;

2,要改任务的分组,这样多个任务时能方便查看

可以参见这里,https://www.jianshu.com/p/79de51e8113d

3,先pyspider all, 再 localhost:5000

4,

 5,group名可以改,改为delete后会在24内删除此项目。project name不能修改。

6,五个状态:TODO,STOP,CHECKING,DEBUG,RUNNING

TODO是新建项目后的默认状态,不会运行项目.STOP状态是停止状态,也不会运行.CHECHING是修改项目代码后自动变的状态.DEBUG是调试模式,遇到错误信息会停止继续运行,RUNNING是运行状态,遇到错误会自动尝试,如果还是错误会跳过错误的任务继续运行.

7,速度控制。rate是每秒爬取页面数,burst是并发数.如1/3是三个并发,每秒爬取一个页面

8,简单统计。5m是五分钟内任务执行情况,1h是一小时内运行任务统计,1d是一天内运行统计,all是所有的任务统计.

9,运行。run按钮是项目初次运行需要点的按钮,这个功能会运行项目的on_start方法来生成入口任务

10,ActiveTasks,显示最新任务列表,方便查看状态,查看错误

11,Results,查看项目爬取结果