了解爬蟲原理

本次作業來源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881

1. 簡單說明爬蟲原理

網絡爬蟲，即Web Spider，是一個很形象的名字。把網際網路比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是通過網頁的連結位址來尋找網頁的。從網站某一個頁面（通常是首頁）開始，讀取網頁的内容，找到在網頁中的其它連結位址，然後通過這些連結位址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個網際網路當成一個網站，那麼網絡蜘蛛就可以用這個原理把網際網路上所有的網頁都抓取下來。這樣看來，網絡爬蟲就是一個爬行程式，一個抓取網頁的程式。網絡爬蟲的基本操作是抓取網頁。

2. 了解爬蟲開發過程

1).簡要說明浏覽器工作原理；

浏覽器的主要功能是将使用者選擇的web資源呈現出來，它需要從伺服器請求資源，并将其顯示在浏覽器視窗中，資源的格式通常是HTML，也包括PDF、image及其他格式。使用者用URI來指定所請求資源的位置，在網絡一章有更多讨論。

2).使用 requests 庫抓取網站資料；

requests.get(url) 擷取校園新聞首頁html代碼

了解爬蟲原理

import requests
requests
url='http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'
res=requests.get(url)
type(res)
res.encoding='utf-8'
res.text

了解爬蟲原理

3).了解網頁

寫一個簡單的html檔案，包含多個标簽，類，id

了解爬蟲原理

html_sample = ' \
<html> \
    <body> \
          <h1 id="title">Hello</h1> \
          <a href="#" class="link"> This is link1</a>\
          <a href="# link2" class="link" qao=123> This is link2</a>\
    </body> \
</html> '

了解爬蟲原理

4).使用 Beautiful Soup 解析網頁；

通過BeautifulSoup(html_sample,'html.parser')把上述html檔案解析成DOM Tree

soupn=BeautifulSoup(res.text,'html.parser')
soupn

select（選擇器）定位資料

#使用select找出含有h1标簽的元素，傳回list
header=soups.select('h1')
#使用select找出特定CSS屬性的元素
t = soups.select('#title')
l = soups.select('.link')

找出含有特定标簽的html元素

找出含有特定類名的html元素

找出含有特定id名的html元素

soups = BeautifulSoup(html,'html.parser')
a1 =soups.a
a = soups.select('a')
h = soups.select('h1')
t = soups.select('#title')

3.提取一篇校園新聞的标題、釋出時間、釋出機關、作者、點選次數、内容等資訊

如url = 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'

要求釋出時間為datetime類型，點選次數為數值型，其它是字元串類型。

新聞的标題:

釋出時間

作者：

釋出機關：

點選次數：

内容：