scrapy常用命令笔记

1、scrapy --help     

查看scrapy的基本命令

2、scrapy version -v  查看scrapy版本和各组件的信息

3、scrapy startproject xx 

创建一个xx工程

4、scrapy genspider name site.com    要进入工程目录下 name为文件名；site.com为要爬取的网站的域名 有两种情况：1、在工程中产生一个spider                      2、在同一个工程产生多个spider，不同的spider要求name不同

scrapy genspider -l     查看爬虫模板

5、scrapy list  查看工程中所有的spider file

6、scrapy view url 查看页面源码在浏览器中显示的样子

7、scrapy parse url 在工程中使用固定的parse函数解析某个页面

8、scrapy shell url(html)

eg:  scrapy shell https://doc.scrapy.org/en/latest/_static/selectors-sample1.html 用于调试数据、检测xpath、查看页面源码等等

9、scrapy runspider xx.py     运行单个爬虫

  scrapy crawl name     运行工程里的爬虫

eg: scrapy crawl douban_movie_top250 -o douban.csv

10、scrapy bench 执行一个基准测试。可以用来检测scrapy是否安装成功