Pyspider的安裝使用

系統版本是：centos 7.2  ，自帶Python版本2.7.5

1，更新epl源

yum -y install epel-release

2，安裝pip

yum install python-pip -y

3，提示pip版本有點低，更新一下

pip install --upgrade pip

4，用pip安裝pyspider

pip install pyspider

5，報錯：ImportError: No module named urllib.parse，原因是six版本過低

pip install six --upgrade

6，啟動的pyspider

#pyspider

7，登入到pyspider的web界面，浏覽器打開：localhost:5000。

安裝centos版本的Chrome浏覽器

1，加入Chrome的源

#cd  /etc/yum.repos.d/

2，加入源

#vi  google.repo

[gogle]

name=Google-x86_64

baseurl=http://dl.google.com/linux/rpm/stable/x86_64

enabled=1

gpgcheck=0

gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

4，安裝Chrome

#yum install google-chrome-stable

5，會啟動不了，隻能手工啟動

#google-chrome - -no-sandbox - -user-data-dir &

安裝 phantomjs

1，安裝依賴包 

#yum -y install gcc gcc-c++ make flex bison gperf ruby  openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel libpng-devel libjpeg-devel  

2，解壓phantomjs 

3，添加環境變量

#vim /etc/profile

export PJS_HOME=/usr/local/phantomjs-2.1.1-linux-x86_64 

export PATH=$PATH:$PJS_HOME/bin 

4,使環境變量立即生效

#source /etc/profile

啟動pyspider