一篇文章教會你用Python爬取淘寶評論資料（寫在記事本）

【一、項目簡介】

本文主要目标是采集淘寶的評價，找出客戶所需要的功能。統計客戶評價上面誇哪個功能多，比如防水，容量大，好看等等。

【二、項目準備工作】

1. 準備Pycharm，下載下傳安裝等，可以參考這篇文章：

Python環境搭建—安利Python小白的Python和Pycharm安裝詳細教程 2. 爬取商品位址，如下所示：

https://detail.tmall.com/item.htm?spm=a230r.1.14.1.55a84b1721XG00&id=552918017887&ns=1&abbucket=17           

3. 需要下載下傳幾個庫，如何下載下傳呢？

打開pycharm軟體點選File在點選setting選項，再選擇Project：你的檔案名下邊的Project:Interpreter選項。

點選+号，安裝這個項目需要用的庫，例如：requests、beautifulsoup4、simplejson。

【三、項目實作】

1. 導入需要的庫

import requests
from bs4 import  BeautifulSoup as bs
import json
import csv
import re           

2. 需要登入淘寶網，選擇谷歌浏覽器選擇開發者工具或按F12有個Network選項，查找list_detail_rate.htm?檔案

定義一個變量存儲URL位址PAGE_URL = []

定義一個生成連結清單函數，使用字元串拼接形成評論的頁數

定義一個擷取評論資料函數内定義需要用到的字段例如：使用者名、評論時間、顔色分類、評論，如下圖所示。

那個cookie值在在開發者工具Network有個item.htm?spm檔案有個cookie複制過來就好了。

解析JS檔案内容、将資料寫入TEXT檔案中，如下圖所示。

最後定義一個主函數爬取需要的評論頁數，如下圖所示。

最後得到的結果如圖所示：

【四、總結】

1. 本文基于Python網絡爬蟲，采集了淘寶商品的評價，方法行之有效。但是建議不要抓取太多，以免對伺服器造成壓力。

2. 如果需要本文源碼，請在公衆号背景回複“淘寶評論”擷取。