Python：黑闆課爬蟲闖關第五關

第五關是最後一關了，至此之後黑闆課就沒有更新過關卡了。

第五關位址：http://www.heibanke.com/lesson/crawler_ex04/

可以看到，是在第三關的基礎上加了驗證碼。

驗證碼識别我們可以通過 tesserocr 來識别，tesserocr 的使用在我的前面兩篇部落格中有介紹。

在這裡，tesserocr 的識别率不是很高，大概隻有10%到15%，通過訓練，也沒能有啥改善，不知道是不是我弄錯了，有嘗試過的朋友可以給我留言。

代碼如下：

import re
import requests
import time
from PIL import Image
from bs4 import BeautifulSoup
import tesserocr


def main():
    url_login = 'http://www.heibanke.com/accounts/login/'
    url = 'http://www.heibanke.com/lesson/crawler_ex04/'
    session = requests.Session()
    session.get(url_login)
    token = session.cookies['csrftoken']
    session.post(url_login, data={'csrfmiddlewaretoken': token, 'username': 'xx', 'password': 'xx'})
    psd = 0
    while psd < 30:
        print(f'test password {psd}')
        r = session.get(url)
        soup = BeautifulSoup(r.text, 'lxml')
        img_tag = soup.find('img')
        img_url = 'http://www.heibanke.com' + img_tag['src']
        requests.get(url)
        code = get_code(img_url)
        if code is None:
            time.sleep(1)
            continue
        token = session.cookies['csrftoken']
        r = session.post(url, data={'csrfmiddlewaretoken': token, 'username': 'aa', 'password': psd,
                                    'captcha_0': code[0], 'captcha_1': code[1]})
        html = r.text
        if '驗證碼輸入錯誤' in html:
            time.sleep(1)
        elif '密碼錯誤' not in html:
            m = re.search('(?<=\<h3\>).*?(?=\</h3\>)', html)
            print(m.group())
            return
        else:
            time.sleep(1)
            psd += 1


def get_code(url):
    flag = url.split("/")[-2]
    fn = flag + '.png'
    with open(fn, 'wb+') as sw:
        sw.write(requests.get(url).content)

    img = Image.open(fn)
    img = img.convert('L')
    result = tesserocr.image_to_text(img).strip()
    print(flag, result)
    if re.match('^[A-Za-z0-9]{4}$', result):
        return flag, result


if __name__ == '__main__':
    main()           

掃碼關注我的個人公衆号