天天看点

Deepin/Debian/Ubuntu下安装pyspider前言更新源更新pip安装依赖包安装pyspider安装 phantomjs运行pyspider

前言

pyspider 是 python语言的一个爬虫工具,提供有GUI界面,可以在web界面中制定任务、爬取数据和导出结果。由于刚开始接触,无法介绍太多,以上是根据安装过程中看到的一些资料的整体印象。

pyspider 官网:http://docs.pyspider.org

更新源

sudo apt-get update
           

更新pip

python -m pip install -U pip
           

安装依赖包

sudo apt-get install python-dev 
 sudo apt-get install python-distribute
 sudo apt-get install libcurl4-openssl-dev 
 sudo apt-get install libxml2-dev 
 sudo apt-get install libxslt1-dev 
 sudo apt-get install python-lxml
           

安装pyspider

pip install pyspider
           

安装 phantomjs

sudo apt-get install phantomjs
           

运行pyspider

sudo pyspider all
           

参考:https://blog.csdn.net/danielpei1222/article/details/63250744