前言
pyspider 是 python語言的一個爬蟲工具,提供有GUI界面,可以在web界面中制定任務、爬取資料和導出結果。由于剛開始接觸,無法介紹太多,以上是根據安裝過程中看到的一些資料的整體印象。
pyspider 官網:http://docs.pyspider.org
更新源
sudo apt-get update
更新pip
python -m pip install -U pip
安裝依賴包
sudo apt-get install python-dev
sudo apt-get install python-distribute
sudo apt-get install libcurl4-openssl-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install python-lxml
安裝pyspider
pip install pyspider
安裝 phantomjs
sudo apt-get install phantomjs
運作pyspider
sudo pyspider all
參考:https://blog.csdn.net/danielpei1222/article/details/63250744