Python爬蟲入門教程 34-100 掘金網全站使用者爬蟲 scrapy

爬前叨叨

已經編寫了33篇爬蟲文章了，如果你按着一個個的實作，你的爬蟲技術已經入門，從今天開始慢慢的就要寫一些有分析價值的資料了，今天我選了一個《掘金網》，我們去爬取一下他的全站使用者資料。

爬取思路

擷取全站使用者，理論來說從1個使用者作為切入點就可以，我們需要爬取使用者的關注清單，從關注清單不斷的疊加下去。

随便打開一個使用者的個人中心

綠色圓圈裡面的都是我們想要采集到的資訊。這個使用者關注0人？那麼你還需要繼續找一個入口，這個使用者一定要關注了别人。選擇關注清單，是為了讓資料有價值，因為關注者裡面可能大量的小号或者不活躍的賬号，價值不大。

我選了這樣一個入口頁面，它關注了3個人，你也可以選擇多一些的，這個沒有太大影響！

https://juejin.im/user/55fa7cd460b2e36621f07dde/following

我們要通過這個頁面，去抓取使用者的ID

得到ID之後，你才可以拼接出來下面的連結

https://juejin.im/user/使用者ID/following
           

爬蟲編寫

分析好了之後，就可以建立一個

scrapy

項目了

items.py

檔案，用來限定我們需要的所有資料，注意到下面有個

_id = scrapy.Field()

這個先預留好，是為了

mongdb

準備的，其他的字段解釋請參照注釋即可。

class JuejinItem(scrapy.Item):
   
    _id = scrapy.Field()
    username = scrapy.Field()
    job = scrapy.Field()
    company =scrapy.Field()
    intro = scrapy.Field()
    # 專欄
    columns = scrapy.Field()
    # 沸點
    boiling = scrapy.Field()
    # 分享
    shares = scrapy.Field()
    # 贊
    praises = scrapy.Field()
    #
    books = scrapy.Field()
    # 關注了
    follow = scrapy.Field()
    # 關注者
    followers = scrapy.Field()
    goods = scrapy.Field()
    editer = scrapy.Field()
    reads = scrapy.Field()
    collections = scrapy.Field()
    tags = scrapy.Field()
           

編寫爬蟲主入口檔案

JuejinspiderSpider.py

import scrapy
from scrapy.selector import Selector
from Juejin.items import JuejinItem

class JuejinspiderSpider(scrapy.Spider):
    name = 'JuejinSpider'
    allowed_domains = ['juejin.im']
    # 起始URL    5c0f372b5188255301746103
    start_urls = ['https://juejin.im/user/55fa7cd460b2e36621f07dde/following']           

def parse

函數，邏輯不複雜，處理兩個業務即可

1. 傳回item
2. 傳回關注清單的Request

item的擷取，我們需要使用xpath比對即可，為了簡化代碼量，我編寫了一個提取方法，叫做

get_default

函數。

def get_default(self,exts):
        if len(exts)>0:
            ret = exts[0]
        else:
            ret = 0
        return ret

    def parse(self, response):
        #base_data = response.body_as_unicode()
        select = Selector(response)
        item = JuejinItem()
        # 這個地方擷取一下資料
        item["username"] = select.xpath("//h1[@class='username']/text()").extract()[0]
        position = select.xpath("//div[@class='position']/span/span/text()").extract()
        if position:
            job = position[0]
            if len(position)>1:
                company = position[1]
            else:
                company = ""
        else:
            job = company = ""
        item["job"] = job
        item["company"] = company
        item["intro"] = self.get_default(select.xpath("//div[@class='intro']/span/text()").extract())
        # 專欄
        item["columns"] = self.get_default(select.xpath("//div[@class='header-content']/a[2]/div[2]/text()").extract())
        # 沸點
        item["boiling"] = self.get_default(select.xpath("//div[@class='header-content']/a[3]/div[2]/text()").extract())
        # 分享
        item["shares"] = self.get_default(select.xpath("//div[@class='header-content']/a[4]/div[2]/text()").extract())
        # 贊
        item["praises"] = self.get_default(select.xpath("//div[@class='header-content']/a[5]/div[2]/text()").extract())
        #
        item["books"] = self.get_default(select.xpath("//div[@class='header-content']/a[6]/div[2]/text()").extract())

        # 關注了
        item["follow"] = self.get_default(select.xpath("//div[@class='follow-block block shadow']/a[1]/div[2]/text()").extract())
        # 關注者
        item["followers"] = self.get_default(select.xpath("//div[@class='follow-block block shadow']/a[2]/div[2]/text()").extract())


        right = select.xpath("//div[@class='stat-block block shadow']/div[2]/div").extract()
        if len(right) == 3:
            item["editer"] = self.get_default(select.xpath("//div[@class='stat-block block shadow']/div[2]/div[1]/span/text()").extract())
            item["goods"] = self.get_default(select.xpath("//div[@class='stat-block block shadow']/div[2]/div[2]/span/span/text()").extract())
            item["reads"] = self.get_default(select.xpath("//div[@class='stat-block block shadow']/div[2]/div[3]/span/span/text()").extract())

        else:
            item["editer"] = ""
            item["goods"] = self.get_default(select.xpath("//div[@class='stat-block block shadow']/div[2]/div[1]/span/span/text()").extract())
            item["reads"] = self.get_default(select.xpath("//div[@class='stat-block block shadow']/div[2]/div[2]/span/span/text()").extract())


        item["collections"] = self.get_default(select.xpath("//div[@class='more-block block']/a[1]/div[2]/text()").extract())
        item["tags"] = self.get_default(select.xpath("//div[@class='more-block block']/a[2]/div[2]/text()").extract())
        yield item  # 傳回item
            

上述代碼，已經成功傳回了item，打開

setting.py

檔案中的

pipelines

設定，測試一下是否可以存儲資料,順便在

DEFAULT_REQUEST_HEADERS

配置一下request的請求參數。

setting.py

DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    "Host": "juejin.im",
    "Referer": "https://juejin.im/timeline?sort=weeklyHottest",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 浏覽器UA"
}

ITEM_PIPELINES = {
   'Juejin.pipelines.JuejinPipeline': 20,
}           

本爬蟲資料存儲到

mongodb

裡面，是以需要你在

pipelines.py

檔案編寫存儲代碼。

import time
import pymongo

DATABASE_IP = '127.0.0.1'
DATABASE_PORT = 27017
DATABASE_NAME = 'sun'
client = pymongo.MongoClient(DATABASE_IP,DATABASE_PORT)
db = client.sun
db.authenticate("dba", "dba")
collection = db.jujin  # 準備插入資料


class JuejinPipeline(object):

    def process_item(self, item, spider):
        try:
            collection.insert(item)
        except Exception as e:
            print(e.args)
           

運作代碼之後，如果沒有報錯，完善最後一步即可，在Spider裡面将爬蟲的循環操作完成

list_li = select.xpath("//ul[@class='tag-list']/li")  # 擷取所有的關注
      for li in list_li:
           a_link = li.xpath(".//meta[@itemprop='url']/@content").extract()[0] # 擷取URL
             # 傳回拼接好的資料請求
           yield scrapy.Request(a_link+"/following",callback=self.parse)           

所有的代碼都已經寫完啦

全站使用者爬蟲編寫完畢，厲害吧。

擴充方向

1. 爬蟲每次隻爬取關注清單的第一頁，也可以循環下去，這個不麻煩
2. 在

   setting.py

   中開啟多線程操作
3. 添加redis速度更快，後面會陸續的寫幾篇分布式爬蟲，提高爬取速度
4. 思路可以擴充，N多網站的使用者爬蟲，咱後面也寫幾個