微博python爬虫weiboSpider注意事项


首先我看的weiboSpider爬虫项目教程出自https://github.com/dataabc/weiboSpider

1.这爬取的是手机端的,所以我把网址https://weibo.com的.com改成了cn,需要爬取的id和cookie也是在这登录后按教程找的。

主页网址上的连续数字不一定是id,资料的网址上是。还可以通过网业源代码搜,oid或uid后面的数字就是。

2.安装环境依赖,就是下载包,我下载的时候没成功,经朋友指点,直接下载未成功导入的包,实践可行。

3。代码包括有关数据库,如果不需要,可以不删除,运行不到那去,不影响。不过删掉应该比较好。

4.

 会输出这的所有格式文件。如图就会有csv和txt两个文件。

到这我就没了。。欢迎讨论补充。

相关