Python登入并擷取CSDN部落格所有文章清單

分析登入過程

這幾天研究百度登入和貼吧簽到，這百度果然是網際網路巨頭，一個登入過程都弄得複雜無比，簡直有毒。我研究了好幾天仍然沒搞明白。是以還是先挑一個軟柿子捏捏，就選擇CSDN了。

過程很簡單，我也不截圖了。直接打開浏覽器，然後打開Fiddler，然後登入CSDN。然後Fiddler顯示浏覽器向

https://passport.csdn.net/account/login?ref=toolbar

發送了一個POST請求，這個請求包含了登入表單，而且還是未加密的。當然CSDN本身還是使用了HTTPS，是以安全性還行。

請求體如下，username和password當然是使用者名和密碼了。

username=XXXXX&password=XXXXXX&rememberMe=true&lt=LT-461600-wEKpWAqbfZoULXmFmDIulKPbL44hAu&execution=e4s1&_eventId=submit
           

lt參數我不知道是幹啥的，結果直接在頁面中一看原來全在表單裡頭，這下直接全了。CSDN很貼心的連注釋都給出了。另外如果你打開百度首頁的話，還會發現浏覽器的log中還會輸出百度的招聘資訊。

HTML截圖

登入代碼

這些資訊全有了，這樣我們就可以登入了。不說廢話，直接上代碼。先說說我遇到的幾個坑。

首先是一個參數錯誤，其實邏輯沒問題，但是代碼我複制粘貼之後忘了改名字了，就登入表單那裡，三個參數全弄成了lt，結果登入傳回來的頁面是錯誤頁面。我還以為是沒有附帶什麼請求頭，瞎整了大半天。最後用Fiddler調試了好多遍才發現。

第二個問題就是CSDN雞賊的跳轉。由于浏覽器自帶了JS引擎，是以我們在浏覽器中輸入網址，到達頁面這一過程不一定就是一個請求。可能中間用了什麼JS代碼先跳轉到中間頁面，最後才跳轉到實際頁面。代碼裡的

_validate_redirect_url(self)

函數就是幹這個的，登入完了第一次請求會得到一個中間頁面，它包含了一堆JS代碼，其中有個重定向網址。我們擷取到這個重定向網址，還得請求一次，獲得200OK之後，後續請求才能獲得實際頁面。

第三個問題就是正規表達式比對頁面的空格問題了。擷取文章首先得知道文章總數，這個好辦，直接擷取頁面裡的文章數就行了。它類似

100條 共20頁

這個。那麼該怎麼擷取呢？一開始我用的

(\d+)條 共(\d+)頁

這個正則，但是結果沒比對到，然後我仔細看了一下頁面，原來這兩個詞之間不是一個空格，而是兩個空格！其實這個問題倒是也好辦，改一下正則

(\d+)條\s*共(\d+)頁

就行了。是以以後如果遇到空格問題，直接用

\s

比對，不要想着自己輸入一個空格還是兩個空格。

import requests
from bs4 import BeautifulSoup
import re
import urllib.parse as parse


class CsdnHelper:
    """登入CSDN和列出所有文章的類"""
    csdn_login_url = 'https://passport.csdn.net/account/login?ref=toolbar'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
    }
    blog_url = 'http://write.blog.csdn.net/postlist/'

    def __init__(self):
        self._session = requests.session()
        self._session.headers = CsdnHelper.headers

    def login(self, username, password):
        '''登入主函數'''
        form_data = self._prepare_login_form_data(username, password)
        response = self._session.post(CsdnHelper.csdn_login_url, data=form_data)
        if 'UserNick' in response.cookies:
            nick = response.cookies['UserNick']
            print(parse.unquote(nick))
        else:
            raise Exception('登入失敗')

    def _prepare_login_form_data(self, username, password):
        '''從頁面擷取參數，準備送出表單'''
        response = self._session.get(CsdnHelper.csdn_login_url)
        login_page = BeautifulSoup(response.text, 'lxml')
        login_form = login_page.find('form', id='fm1')

        lt = login_form.find('input', attrs={'name': 'lt'})['value']
        execution = login_form.find('input', attrs={'name': 'execution'})['value']
        eventId = login_form.find('input', attrs={'name': '_eventId'})['value']
        form = {
            'username': username,
            'password': password,
            'lt': lt,
            'execution': execution,
            '_eventId': eventId
        }

        return form

    def _get_blog_count(self):
        '''擷取文章數和頁數'''
        self._validate_redirect_url()
        response = self._session.get(CsdnHelper.blog_url)
        blog_page = BeautifulSoup(response.text, 'lxml')
        span = blog_page.find('div', class_='page_nav').span
        print(span.string)
        pattern = re.compile(r'(\d+)條\s*共(\d+)頁')
        result = pattern.findall(span.string)
        blog_count = int(result[0][0])
        page_count = int(result[0][1])
        return (blog_count, page_count)

    def _validate_redirect_url(self):
        '''驗證重定向網頁'''
        response = self._session.get(CsdnHelper.blog_url)
        redirect_url = re.findall(r'var redirect = "(\S+)";', response.text)[0]
        self._session.get(redirect_url)

    def print_blogs(self):
        '''輸出文章資訊'''
        blog_count, page_count = self._get_blog_count()
        for index in range(1, page_count + 1):
            url = f'http://write.blog.csdn.net/postlist/0/0/enabled/{index}'
            response = self._session.get(url)
            page = BeautifulSoup(response.text, 'lxml')
            links = page.find_all('a', href=re.compile(r'http://blog.csdn.net/u011054333/article/details/(\d+)'))
            print(f'----------第{index}頁----------')
            for link in links:
                blog_name = link.string
                blog_url = link['href']
                print(f'文章名稱:《{blog_name}》 文章連結:{blog_url}')


if __name__ == '__main__':
    csdn_helper = CsdnHelper()
    username = input("請輸入使用者名")
    password = input("請輸入密碼")
    csdn_helper.login(username, password)
    csdn_helper.print_blogs()

           

當然，這裡最重要的的就是登入過程了。我們登入之後，才可以做其他事情。比方說，下一步還能寫一個備份工具，把CSDN部落格的所有文章和圖檔下載下傳到本地。有興趣的同學可以試一試。