大資料時代，各行各業對資料采集的需求日益增多，網絡爬蟲的運用也更為廣泛，越來越多的人開始學習網絡爬蟲這項技術，K哥爬蟲此前已經推出不少爬蟲進階、逆向相關文章，為實作從易到難全方位覆寫，特設【0基礎學爬蟲】專欄，幫助小白快速入門爬蟲，本期為爬蟲的基本介紹。
一、爬蟲概述
爬蟲又稱網絡蜘蛛、網絡機器人，網絡爬蟲按照系統結構和實作技術，大緻可以分為以下幾種類型：
- 通用網絡爬蟲（Scalable Web Crawler）：抓取網際網路上所有資料，爬取對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜尋引擎和大型 Web 服務提供商采集資料，是捜索引擎抓取系統（Baidu、Google、Yahoo 等）的重要組成部分。
- 聚焦網絡爬蟲（Focused Crawler）：抓取網際網路上特定資料，按照預先定義好的主題有選擇地進行網頁爬取的一種爬蟲，将爬取的目标網頁定位在與主題相關的頁面中，選擇性地爬取特定領域資訊。
- 增量式網絡爬蟲（Incremental Web Crawler）：抓取網際網路上剛更新的資料，采取增量式更新和隻爬取新産生的或者已經發生變化網頁，它能夠在一定程度上保證所爬取的頁面是盡可能新的頁面，減少時間和空間上的耗費。
- 深層網絡爬蟲（Deep Web Crawler）：表層網頁（Surface Web）是指傳統搜尋引擎可以索引的頁面，以超連結可以到達的靜态網頁為主構成的 Web 頁面；深層網頁（Deep Web）是指不能通過靜态連結擷取的、隐藏在搜尋表單後的，隻有使用者送出一些關鍵詞才能獲得的 Web 頁面。在網際網路中，深層頁面的數量往往比表層頁面的數量要多很多。
爬蟲程式能模拟浏覽器請求站點的行為，把站點傳回的HTML代碼/JSON資料/二進制資料（圖檔、視訊、音頻） 等爬取到本地，進而提取自己需要的資料，并存放起來使用，每一個程式都有自己的規則，網絡爬蟲也不例外，它會根據人們施加的規則去采集資訊，這些規則為網絡爬蟲算法，根據使用者的目的，爬蟲可以實作不同的功能，但所有爬蟲的本質，都是友善人們在海量的網際網路資訊中找到并下載下傳到自己要的那一類，提升資訊擷取效率。
爬蟲采集的都是正常使用者能浏覽到的内容，而非所謂的 ”入侵伺服器“，常說高水準者可 ”所見即所得“，意為隻要是能看的内容就能爬取到，希望各位都能達到這個程度~
二、爬蟲的用途
現如今大資料時代已經到來，網絡爬蟲技術成為這個時代不可或缺的一部分，企業需要資料來分析使用者行為、自己産品的不足之處以及競争對手的資訊等，而這一切的首要條件就是資料的采集。網絡爬蟲的價值其實就是資料的價值，在網際網路社會中，資料是無價之寶，一切皆為資料，誰擁有了大量有用的資料，誰就擁有了決策的主動權。
網絡爬蟲目前主要的應用領域如：搜尋引擎、資料采集、資料分析、資訊聚合、競品監控、認知智能、輿情分析等等，爬蟲業務相關的公司數不勝數，如百度、谷歌、天眼查、企查查、新榜、飛瓜等等，在大資料時代，爬蟲的應用範圍廣、需求大，簡單舉幾個貼近生活的例子：
- 求職需求：擷取各個城市的招聘資訊及薪資标準，友善篩選出适合自己的；
- 租房需求：擷取各個城市的租房資訊，以便挑選出心儀的房源；
- 美食需求：擷取各個地方的好評美食，讓吃貨不迷路；
- 購物需求：擷取各個商家同一個商品的價格及折扣資訊，讓購物更實惠；
- 購車需求：擷取心儀車輛近年的價格波動，以及不同管道各車型的價格，助力挑選愛車。
三、URI 及 URL 的含義
URI（Uniform Resource Identifier），即統一資源标志符，URI（Uniform Resource Location），即統一資源定位符，例如 https://www.kuaidaili.com/ ，既是一個 URI，也是一個 URL，URL 是 URI 的子集，對于一般的網頁連結，習慣稱為 URL，一個 URL 的基本組成格式如下：
scheme://[username:password@]host[:port][/path][;parameters][?query][#fragment] 各部分含義如下：
- scheme：擷取資源使用的協定，例如 http、https、ftp 等，沒有預設值，scheme 也被稱為 protocol；
- username:password：使用者名與密碼，某些情況下 URL 需要提供使用者名和密碼才能通路，這是個特殊的存在，一般通路 ftp 時會用到，顯式的表明了通路資源的使用者名與密碼，但是可以不寫，不寫的話可能會讓輸入使用者名密碼；
- host：主機位址，可以是域名或 IP 位址，例如 www.kuaidaili.com、112.66.251.209；
- port：端口，伺服器設定的服務端口，http 協定的預設端口為 80，https 協定的預設端口為 443，例如 https://www.kuaidaili.com/ 相當于 https://www.kuaidaili.com:443；
- path：路徑，指的是網絡資源在伺服器中的指定位址，通過 host:port 我們能找到主機，但是主機上檔案很多，通過 path 則可以定位具體檔案。例如 https://www.baidu.com/file/index.html，path 為 /file/index.html，表示我們通路 /file/index.html 這個檔案；
- parameters：參數，用來指定通路某個資源時的附加資訊，主要作用就是像伺服器提供額外的參數，用來表示本次請求的一些特性，例如 https://www.kuaidaili.com/dps;kspider，kspider 即參數，現在用的很少，大多數将 query 部分作為參數；
- query：查詢，由于查詢某類資源，若多個查詢，則用 & 隔開，通過 GET 方式請求的參數，例如：https://www.kuaidaili.com/dps/?username=kspider&type=spider，query 部分為 username=kspider&type=spider，指定了 username 為 kspider，type 為 spider；
- fragment：片段，對資源描述的部分補充，用來辨別次級資源，例如 https://www.kuaidaili.com/dps#kspider，kspider 即為 fragment 的值：
- 應用：單頁面路由、HTML 錨點；
- # 有别于 ?，? 後面的查詢字元串會被網絡請求帶上伺服器，而 fragment 不會被發送的伺服器；
- fragment 的改變不會觸發浏覽器重新整理頁面，但是會生成浏覽曆史；
- fragment 會被浏覽器根據檔案媒體類型（MIME type）進行對應的處理；
- 預設情況下 Google 的搜尋引擎會忽略 # 及其後面的字元串，如果想被浏覽引擎讀取，需要在 # 後緊跟一個 ! ，Google 會自動将其後面的内容轉成查詢字元串 _escaped_fragment_ 的值，如 https://www.kuaidaili.com/dps#!kspider，轉換後為 https://www.kuaidaili.com/dps?_escaped_fragment_=kspider。
由于爬蟲的目标是擷取資源，而資源都存儲在某個主機上，是以爬蟲爬取資料時必須要有一個目标的 URL 才可以擷取資料，是以，URL 是爬蟲擷取資料的基本依據，準确了解 URL 的含義對爬蟲學習有很大幫助。
四、爬蟲的基本流程
- 發起請求：通過 URL 向伺服器發起 Request 請求（同打開浏覽器，輸入網址浏覽網頁），請求可以包含額外的 headers、cookies、proxies、data 等資訊，Python 提供了許多庫，幫助我們實作這個流程，完成 HTTP 請求操作，如 urllib、requests 等；
- 擷取響應内容：如果伺服器正常響應，會接收到 Response，Response 即為我們所請求的網頁内容，包含 HTML（網頁源代碼），JSON 資料或者二進制的資料（視訊、音頻、圖檔）等；
- 解析内容：接收到響應内容後，需要對其進行解析，提取資料内容，如果是 HTML（網頁源代碼），則可以使用網頁解析器進行解析，如正規表達式（re）、Beautiful Soup、pyquery、lxml 等；如果是 JSON 資料，則可以轉換成 JSON 對象進行解析；如果是二進制的資料，則可以儲存到檔案進行進一步處理；
- 儲存資料：可以儲存到本地檔案（txt、json、csv 等），或者儲存到資料庫（MySQL，Redis，MongoDB 等），也可以儲存至遠端伺服器，如借助 SFTP 進行操作等。
五、爬蟲的基本架構
爬蟲的基本架構主要由五個部分組成，分别是爬蟲排程器、URL 管理器、網頁下載下傳器、網頁解析器、資訊采集器：
- 爬蟲排程器：相當于一台電腦的 CPU，主要負責排程 URL 管理器、下載下傳器、解析器之間的協調工作，用于各個子產品之間的通信，可以了解為爬蟲的入口與核心，爬蟲的執行政策在此子產品進行定義；
- URL 管理器：包括待爬取的 URL 位址和已爬取的 URL 位址，防止重複抓取 URL 和循環抓取 URL，實作 URL 管理器主要用三種方式，通過記憶體、資料庫、緩存資料庫來實作；
- 網頁下載下傳器：負責通過 URL 将網頁進行下載下傳，主要是進行相應的僞裝處理模拟浏覽器通路、下載下傳網頁，常用庫為 urllib、requests 等；
- 網頁解析器：負責對網頁資訊進行解析，可以按照要求提取出有用的資訊，也可以根據 DOM 樹的解析方式來解析。如正規表達式（re）、Beautiful Soup、pyquery、lxml 等，根據實際情況靈活使用；
- 資料存儲器：負責将解析後的資訊進行存儲、顯示等資料處理。
六、robots 協定
robots 協定也稱爬蟲協定、爬蟲規則等，是指網站可建立一個 robots.txt 檔案來告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取，而搜尋引擎則通過讀取 robots.txt 檔案來識别這個頁面是否允許被抓取。但是，這個robots協定不是防火牆，也沒有強制執行力，搜尋引擎完全可以忽視 robots.txt 檔案去抓取網頁的快照。 如果想單獨定義搜尋引擎的漫遊器通路子目錄時的行為，那麼可以将自定的設定合并到根目錄下的 robots.txt，或者使用 robots 中繼資料（Metadata，又稱中繼資料）。
robots 協定并不是一個規範，而隻是約定俗成的，是以并不能保證網站的隐私，俗稱 “君子協定”。
robots.txt 檔案内容含義：
- User-agent：*, 這裡的 * 代表的所有的搜尋引擎種類，* 是一個通配符
- Disallow： /admin/, 這裡定義是禁止爬取 admin 目錄下面的目錄
- Disallow： /require/, 這裡定義是禁止爬取 require 目錄下面的目錄
- Disallow：/ABC/, 這裡定義是禁止爬取 ABC 目錄下面的目錄
- Disallow：/cgi-bin/*.htm, 禁止通路 /cgi-bin/ 目錄下的所有以 ".htm" 為字尾的 URL(包含子目錄)
- Disallow:/*?*, 禁止通路網站中所有包含問号 (?) 的網址
- Disallow:/.jpg$, 禁止抓取網頁所有的 .jpg 格式的圖檔
- Disallow:/ab/adc.html, 禁止爬取 ab 檔案夾下面的 adc.html 檔案
- Allow:/cgi-bin/, 這裡定義是允許爬取 cgi-bin 目錄下面的目錄
- Allow:/tmp, 這裡定義是允許爬取 tmp 的整個目錄
- Allow: .htm$, 僅允許通路以 ".htm" 為字尾的 URL
- Allow: .gif$, 允許抓取網頁和 gif 格式圖檔
- Sitemap：網站地圖, 告訴爬蟲這個頁面是網站地圖
檢視網站 robots 協定，網站 url 加上字尾 robotst.txt 即可，以快代理為例：
https://www.kuaidaili.com/ - 禁止所有搜尋引擎通路網站的任何部分
- 禁止爬取 /doc/using/ 目錄下面的目錄
- 禁止爬取 /doc/dev 目錄下面所有以 sdk 開頭的目錄及檔案
七、爬蟲與法律
近年來，與網絡爬蟲相關的法律案件和新聞報道層出不窮，推薦觀看：K哥爬蟲普法專欄，不論是不是爬蟲行業的可能都聽說過一句 “爬蟲學的好，牢飯吃到飽”，甚至不少人覺得爬蟲本身就是有問題的，處于灰色地帶，抗拒以緻不敢學爬蟲，但實際并不是這樣，爬蟲作為一種計算機技術，其技術本身是具有中立性的，法律也并沒禁止爬蟲技術，當今網際網路很多技術是依賴于爬蟲技術而發展的，公開資料、不做商業目的、不涉及個人隐私、不要把對方伺服器爬崩、不碰黑産及黃賭毒就不會違法，技術無罪，有罪的是人，切記不要觸碰法律的紅線！