天天看点

windows下Python、pip、pyspider的安装,构建爬虫环境(二)

1、安装PhantomJS、Selenium

下载地址:http://phantomjs.org/download.html

PhantomJS是一个服务器端的 JavaScript API 的WebKit(开源的浏览器引擎)。其支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas 和 SVG。PhantomJS可以用于页面自动化,网络监测,网页截屏,以及无界面测试等。

windows下Python、pip、pyspider的安装,构建爬虫环境(二)
windows下Python、pip、pyspider的安装,构建爬虫环境(二)

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括:测试与浏览器的兼容性、测试系统功能,它ThoughtWorks专门为Web应用程序编写的一个验收测试工具。

windows下Python、pip、pyspider的安装,构建爬虫环境(二)

2、安装pyspider

cmd命令  pip install pyspider

windows下Python、pip、pyspider的安装,构建爬虫环境(二)
windows下Python、pip、pyspider的安装,构建爬虫环境(二)

3、启动pyspider

cmd命令执行pyspider all

windows下Python、pip、pyspider的安装,构建爬虫环境(二)

我们在浏览器打开http://localhost:5000,就可以看到一个界面,点击Create创建项目

windows下Python、pip、pyspider的安装,构建爬虫环境(二)

至此,Python,pyspider环境就算搭建完成。就可以写Python脚本进行数据爬取了。

继续阅读