网络爬虫(插件版)数据导入mysql


网络爬虫(插件版)数据导入mysql

  • 下载安装 google插件 Web Scraper

  • 具体使用方法和实现二级页面爬取过程,见b站up主讲解

    • 链接
  • 爬取成功后,导出为csv文件

  • 关键点!导入Mysql(workbench)

    • 第一步:用excel打开csv文件,把一些长数据的格式改为‘文本’。避免变成科学计数法
    • 第二步:根据数据库表(utf-8编码)中的子段排列方式,在excel中给列排个序,删去多于的列,删去首行(名字行)
    • 第三步:用vscode打开该csv文件,并通过编码为 gb2312保存
    • 第四步:单击数据表右键,选择 import选项,开始导入,过程有点卡卡,但正常

相关