Python爬蟲之網站超清圖檔爬取(2021.3.29)

本次爬蟲用到的網址是：

http://www.netbian.com/index.htm: 彼岸桌面.裡面有很多的好看桌面，而且都是可以下載下傳高清無損的，還比較不錯，是以我就拿這個網站練練手。

作為一個初學者，剛開始的時候，無論的代碼的品質如何，總之代碼隻要能夠被正确完整的運作那就很能夠讓自己開心的，如同我們的遊戲一樣，能在短時間内得到正向的回報，我們就會更有興趣去玩。

學習也是如此，隻要我們能夠在短期内得到學習帶來的回報，那麼我們的對于學習的欲望也是強烈的。

作為一個菜雞，能夠完整的完整此次爬蟲程式的編寫，那便是一個最大的收貨，但其實我在此次過程中的收獲遠不止此。

好的代碼其實應該具有以下特性

1. 能夠滿足最關鍵的需求
2. 容易了解
3. 有充分的注釋
4. 使用規範的命名
5. 沒有明顯的安全問題
6. 經過充分的測試

就以充分的測試為例，經常寫代碼的就應該知道，盡管多數時候你的代碼沒有BUG,但那僅僅說明隻是大多數情況下是穩定的，但是在某些條件下就會出錯（達到出錯條件，存在邏輯問題的時候等）。這是肯定的。至于什麼原因，不同的代碼有不同的原因。如果代碼程式都是一次就能完善的，那麼我們使用的軟體的軟體就不會經常更新了。其他其中的道理就不一 一道說了，

久而自知。

好的代碼一般具有的5大特性
           

1.便于維護
2.可複用
3.可擴充
4.強靈活性
5.健壯性
           

經過我的代碼運作我發現時間複雜度比較大，是以這是我将要改進的地方，但也不止于此。也有很多利用得不合理的地方，至于存在的不足的地方就待我慢慢提升改進吧！

路過的大佬歡迎留下您寶貴的代碼修改意見，

完整代碼如下

import os
import bs4
import re
import time
import requests
from bs4 import BeautifulSoup

def getHTMLText(url, headers):
    """向目标伺服器發起請求并傳回響應"""
    try:
        r = requests.get(url=url, headers=headers)
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text, "html.parser")
        return soup
    except:
        return ""

def CreateFolder():
    """建立存儲資料檔案夾"""
    flag = True
    while flag == 1:
        file = input("請輸入儲存資料檔案夾的名稱：")
        if not os.path.exists(file):
            os.mkdir(file)
            flag = False
        else:
            print('該檔案已存在，請重新輸入')
            flag = True

    # os.path.abspath(file)  擷取檔案夾的絕對路徑
    path = os.path.abspath(file) + "\\"
    return path

def fillUnivList(ulist, soup):
    """擷取每一張圖檔的原圖頁面"""
    # [0]使得獲得的ul是 <class 'bs4.BeautifulSoup'> 類型
    div = soup.find_all('div', 'list')[0]
    for a in div('a'):
        if isinstance(a, bs4.element.Tag):
            hr = a.attrs['href']
            href = re.findall(r'/desk/[1-9]\d{4}.htm', hr)
            if bool(href) == True:
                ulist.append(href[0])

    return ulist

def DownloadPicture(left_url,list,path):
    for right in list:
        url = left_url + right
        r = requests.get(url=url, timeout=10)
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text,"html.parser")
        tag = soup.find_all("p")
        # 擷取img标簽的alt屬性，給儲存圖檔命名
        name = tag[0].a.img.attrs['alt']
        img_name = name + ".jpg"
        # 擷取圖檔的資訊
        img_src = tag[0].a.img.attrs['src']
        try:
            img_data = requests.get(url=img_src)
        except:
            continue

        img_path = path + img_name
        with open(img_path,'wb') as fp:
            fp.write(img_data.content)
        print(img_name, "   ******下載下傳完成！")

def PageNumurl(urls):
    num = int(input("請輸入爬取所到的頁碼數："))
    for i in range(2,num+1):
        u = "http://www.netbian.com/index_" + str(i) + ".htm"
        urls.append(u)

    return urls


if __name__ == "__main__":
    uinfo = []
    left_url = "http://www.netbian.com"
    urls = ["http://www.netbian.com/index.htm"]
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
    }
    start = time.time()
    # 1.建立儲存資料的檔案夾
    path = CreateFolder()
    # 2. 确定要爬取的頁面數并傳回每一頁的連結
    PageNumurl(urls)
    n = int(input("通路的起始頁面："))
    for i in urls[n-1:]:
        # 3.擷取每一個頁面的首頁資料文本
        soup = getHTMLText(i, headers)
        # 4.通路原圖所在頁連結并傳回圖檔的連結
        page_list = fillUnivList(uinfo, soup)
        # 5.下載下傳原圖
        DownloadPicture(left_url, page_list, path)

    print("全部下載下傳完成！", "共" + str(len(os.listdir(path))) + "張圖檔")
    end = time.time()
    print("共耗時" + str(end-start) + "秒")

           

運作

部分展示結果如下：

一起學Python，一起寫代碼，加油！奧利給！！！

爬蟲文章請觀看：

python爬蟲：網易新冠疫情資料爬取(一)