centos 7.5安装python3.7并配置好scrapyd和scrapydweb

一.安装python3.7

1.安装依赖包

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel

2.下载python3.7源码包、解压并进入目录

wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz

tar -xzvf Python-3.7.0.tgz

cd Python-3.7.0

3.编译并安装

./configure prefix=/usr/local/python3

make && make install

4.添加bin目录至系统PATH变量中

#打开系统profile文件
vi /etc/profile
#在最后添加，并保存
export PATH=$PATH:/usr/local/python3/bin
#马上生效
source /etc/profile

5.将默认的python命令改为python3

#输出python命令位置，我的在/usr/bin/python，其实它是/usr/bin/python2的软链接
which python

#备份一下
mv /usr/bin/python /usr/bin/python_bak

#添加python->python3和pip->pip3的软链接
ln -s /usr/local/python3/bin/python3.7 /usr/bin/python

ln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip

#这时可以测试下
python -V

6.更改yum配置，因为yum使用的是python2

vi /usr/bin/yum 
把 #! /usr/bin/python 修改为 #! /usr/bin/python2 
vi /usr/libexec/urlgrabber-ext-down 
把 #! /usr/bin/python 修改为 #! /usr/bin/python2

二.安装和配置scrapyd

1.安装运行scrapyd

#安装
pip install scrapyd

#运行

scrapyd

启动后，scrapyd默认监听的127.0.0.1的6800端口，这时访问:http://127.0.0.1:6800,如果想让其它主机访问，或想改端口，需要进入下一步操作。

2.配置

scrapyd启动会在以下位置查找配置文件：

/etc/scrapyd/scrapyd.conf (Unix)
c:\scrapyd\scrapyd.conf (Windows)
/etc/scrapyd/conf.d/* (in alphabetical order, Unix)
scrapyd.conf（运行目录）
~/.scrapyd.conf (users home directory)

我们根据需要创建scrapyd.conf,这里我是在运行目录，我们可以通过 find / -name scrapyd来查找scrapyd的安装目录，在安装目录里有一个default_scrapyd.conf是默认的配置文件，我们可以以此为模板来修改成我们需要的。

其中

bind_address为绑定ip，修改成0.0.0.0，其它主机就可以访问了

http_port为监听的端口

三.安装和配置scrapydweb

1.安装和运行

#安装scrapydweb
pip install scrapydweb
#logparser是一个日志解析工具，可以把日志解析后发送给scrapyweb
pip install logparser


#新建一个目录 并在此目录下运行
mkdir scrapydwebtest
cd scrapydwebtest
scrapydweb

2.配置

运行后有可能会不成功，不管成功与否都会在目录下生成 scrapydweb_settings_v10.py 文件，此文件为scrapydweb的配置文件，如果不成功会要求修改其内的SCRAPYD_SERVERS.此项为配置scrapyd的服务地址。根据自已的情况配置，我的配置如下：

SCRAPYD_SERVERS = [
    '127.0.0.1:6800',
    # 'username:password@localhost:6801#group',
    # ('username', 'password', 'localhost', '6801', 'group'),
]

配置文件内的注释还是比较详尽的，大部分一看就会明白，同时可以参考这篇文章：https://zhuanlan.zhihu.com/p/99449687

中间件和工具使用

centos 7.5安装python3.7并配置好scrapyd和scrapydweb

相关

标签