前言
pyspider 是 python语言的一个爬虫工具,提供有GUI界面,可以在web界面中制定任务、爬取数据和导出结果。由于刚开始接触,无法介绍太多,以上是根据安装过程中看到的一些资料的整体印象。
pyspider 官网:http://docs.pyspider.org
更新源
sudo apt-get update
更新pip
python -m pip install -U pip
安装依赖包
sudo apt-get install python-dev
sudo apt-get install python-distribute
sudo apt-get install libcurl4-openssl-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install python-lxml
安装pyspider
pip install pyspider
安装 phantomjs
sudo apt-get install phantomjs
运行pyspider
sudo pyspider all
参考:https://blog.csdn.net/danielpei1222/article/details/63250744