使用scrapy+mongodb爬取豆瓣電影TOP250

使用了class scrapy.spiders.CrawlSpider

rules

一個包含一個(或多個) Rule 對象的集合(list)。 每個 Rule 對爬取網站的動作定義了特定表現。 Rule對象在下邊會介紹。 如果多個rule比對了相同的連結，則根據他們在本屬性中被定義的順序，第一個會被使用。

parse_start_url(response)

當start_url的請求傳回時，該方法被調用。 該方法分析最初的傳回值并必須傳回一個 Item 對象或者 一個 Request 對象或者 一個可疊代的包含二者對象。

爬取規則(Crawling rules)

• link_extractor 是一個 Link Extractor 對象。 其定義了如何從爬取到的頁面提取連結。

• callback 是一個callable或string(該spider中同名的函數将會被調用)。從link_extractor中每擷取到連結時将會調用該函數。該回調函數接受一個response作為其第一個參數， 并傳回一個包含Item 以及(或) Request 對象(或者這兩者的子類)的清單(list)。

  警告

  當編寫爬蟲規則時，請避免使用 parse 作為回調函數。 由于 CrawlSpider 使用 parse 方法來實作其邏輯，如果 您覆寫了

  parse 方法，crawl spider 将會運作失敗。

• cb_kwargs 包含傳遞給回調函數的參數(keyword argument)的字典。
• follow 是一個布爾(boolean)值，指定了根據該規則從response提取的連結是否需要跟進。 如果 callback為None， follow 預設設定為 True ，否則預設為 False 。
• process_links 是一個callable或string(該spider中同名的函數将會被調用)。從link_extractor中擷取到連結清單時将會調用該函數。該方法主要用來過濾。
• process_request 是一個callable或string(該spider中同名的函數将會被調用)。該規則提取到每個request時都會調用該函數。該函數必須傳回一個request或者None。 (用來過濾request)

items.py

import scrapy
from scrapy.item import Item,Field


class DoubanmovieItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name=Field()
    year=Field()
    score=Field()
    director=Field()
    classification=Field()
    actor=Field()
           

spiders.py

# -*- coding:utf-8 -*-
from scrapy.selector import Selector
from scrapy.spiders import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor
from doubanmovie.items import DoubanmovieItem

class MovieSpider(CrawlSpider):
    name="doubanmovie"
    allowed_domains=['movie.douban.com']
    start_urls=['http://movie.douban.com/top250']
    rules=[
        Rule(LinkExtractor(allow=(r'http://movie.douban.com/top250\?start=\d+.'))),
        Rule(LinkExtractor(allow=(r'http://movie.douban.com/subject/\d+')),callback="parse_item"),
        ]

    def parse_item(self,response):
        sel=Selector(response)
        item=DoubanmovieItem()
        item['name']=sel.xpath('//*[@id="content"]/h1/span[1]/text()').extract()
        item['year']=sel.xpath('//*[@id="content"]/h1/span[2]/text()').re(r'\((\d+)\)')
        item['score']=sel.xpath('//*[@id="interest_sectl"]/div/p[1]/strong/text()').extract()
        item['director']=sel.xpath('//*[@id="info"]/span[1]/a/text()').extract()
        item['classification']= sel.xpath('//span[@property="v:genre"]/text()').extract()
        item['actor']= sel.xpath('//*[@id="info"]/span[3]/a[1]/text()').extract()
        return item
           

使用mongodb儲存

pipelines.py

from pymongo import MongoClient

from scrapy.exceptions import DropItem
from scrapy.conf import settings
from scrapy import log

class DoubanmoviePipeline(object):
    def __init__(self):
                    client=MongoClient(settings['MONGODB_SERVER'],settings['MONGODB_PORT'])
        db=client[settings['MONGODB_DB']]
        self.collection=db[settings['MONGODB_COLLECTION']]

    def process_item(self, item, spider):
        valid=True
        for data in item:
            if not data:
                valid=False
                raise DropItem("Missing %s of blogpost from %s"%(data,item['url']))
        if valid:
            new_movie=[{
                "name":item['name'][],
                "year":item['year'][],
                "score":item['score'][],
                "director":item['director'],
                "classification":item['classification'],
                "actor":item['actor']
            }]
            self.collection.insert(new_movie)
            log.msg("Item wrote to MongoDB database %s/%s"%(settings['MONGODB_DB'],settings['MONGODB_COLLECTION']),level=log.DEBUG,spider=spider)
        return item
           

在settings中設定一下

settings.py

ITEM_PIPELINES = {
    'doubanmovie.pipelines.DoubanmoviePipeline': 300,
}
LOG_LEVEL='DEBUG'

DOWNLOAD_DELAY=2
RANDOMIZE_DOWNLOAD_DELAY=True
USER_AGENT='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'
COOKIES_ENABLED=True

MONGODB_SERVER = 'localhost'
MONGODB_PORT = 27017
MONGODB_DB = 'python'
MONGODB_COLLECTION = 'test'