了解爬蟲原理

本次作業來源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881

1. 簡單說明爬蟲原理

向網站發起請求，擷取資源後分析并提取有用資料的程式；從技術層面來說就是通過程式模拟浏覽器請求站點的行為，把站點傳回的HTML代碼/JSON資料/二進制資料（圖檔、視訊）爬到本地，進而提取自己需要的資料，存放起來使用.

2. 了解爬蟲開發過程

1).簡要說明浏覽器工作原理；

浏覽器的功能是将擷取到的HTML代碼進行解析，然後将原始的代碼轉變成我們直接看到的網站頁面，網頁通過浏覽器的解析，加載CSS與JS等檔案對網頁進行解析渲染，達到我們看到絢麗的網頁。

2).使用 requests 庫抓取網站資料；

requests.get(url) 擷取校園新聞首頁html代碼

import requests
requests
url='http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'
res=requests.get(url)
type(res)
res.encoding='utf-8'
res.text

3).了解網頁

寫一個簡單的html檔案，包含多個标簽，類，id

html_sample = ' \
<html> \
    <body> \
          <h1 id="title">Hello</h1> \
          <a href="#" class="link"> This is link1</a>\
          <a href="# link2" class="link" qao=123> This is link2</a>\
    </body> \
</html> '

4).使用 Beautiful Soup 解析網頁；

通過BeautifulSoup(html_sample,'html.parser')把上述html檔案解析成DOM Tree

soupn=BeautifulSoup(res.text,'html.parser')
soupn

select（選擇器）定位資料

#使用select找出含有h1标簽的元素，傳回list
header=soups.select('h1')
#使用select找出特定CSS屬性的元素
t = soups.select('#title')
l = soups.select('.link')

找出含有特定标簽的html元素

找出含有特定類名的html元素

找出含有特定id名的html元素

soups = BeautifulSoup(html,'html.parser')
a1 =soups.a
a = soups.select('a')
h = soups.select('h1')
t = soups.select('#title')

3.提取一篇校園新聞的标題、釋出時間、釋出機關、作者、點選次數、内容等資訊

如url = 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'

要求釋出時間為datetime類型，點選次數為數值型，其它是字元串類型。

新聞的标題:

釋出時間

作者：

釋出機關：

點選次數：

内容：