网络爬虫(插件版)数据导入mysql
网络爬虫(插件版)数据导入mysql
-
下载安装 google插件 Web Scraper
-
具体使用方法和实现二级页面爬取过程,见b站up主讲解
- 链接
-
爬取成功后,导出为csv文件
-
关键点!导入Mysql(workbench)
- 第一步:用excel打开csv文件,把一些长数据的格式改为‘文本’。避免变成科学计数法
- 第二步:根据数据库表(utf-8编码)中的子段排列方式,在excel中给列排个序,删去多于的列,删去首行(名字行)
- 第三步:用vscode打开该csv文件,并通过编码为 gb2312保存
- 第四步:单击数据表右键,选择 import选项,开始导入,过程有点卡卡,但正常