Scrapy 之 docker splash


Scrapy 之 docker splash 

1. ubuntu  安装docker 命令

 curl -sSL https://get.daocloud.io/docker | sh

  或者

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

2. 启动docker

sudo docker systemctl start docker

3. 安装Splash 拉取docker镜像

sudo docker pull scrapinghub/splash

4. 拉取成功后启动服务器 

启动命令为:

docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash

5. 最后再浏览器中打开

6. 最后通过写lua 脚本  然后配合scrapy-splash 这个库  完成动态数据爬取 

相关