linux安装scrapy

想了解python爬虫,目前从scrapy框架着手

框架原理,请百度,不细说了.

python安装,请看上一篇随笔

开始安装scrapy

进入linux下python目录

cd /usr/local/python/

pip3安装scrapy

pip3 install scrapy

这里安装scrapy,会一直提示连接超时,也就是read time out

整理了下资料百度,从其他的资源库下载scrapy插件

pip install -i https://pypi.douban.com/simple scrapy

安装成功

进入python

python3

导入scrapy

>>import scrapy

-->exit;

建立scrapy的软连接

ln -s /usr/local/ python/bin/scrapy /usr/bin/scrapy

验证scrapy软连接:

scrapy --v

出现帮助,则表示安装成功