理解爬虫原理

1.简单说明爬虫原理

爬虫就是通过互联网各个沾点组成的节点网，通过代码返回给浏览器，然后解析这部分的代内容，将网页内的内容简洁地呈现在我们的面前。爬虫的流程可以分为：发送请求、获取响应内容、解析内容、保存数据。

2.使用 requests 库抓取网站数据；

import requests
from bs4 import BeautifulSoup
url='http://site.gzcc.cn/html/2018/xkcg_0615/1729.html'
res = requests.get(url)
res.encoding = 'utf-8'
res.text

3.了解网页

写一个简单的html文件，包含多个标签，类，id

<html>
  <head>
    <h1 id="title">简单视频网页</h1>
  </head>
  <body>
    <div>
      <p1>腾讯视频网页<p1><br>
      <a href="https://v.qq.com/?ptag=qqbsc" >腾讯视频</a>
    </div>
  </body>
</html>

4).使用 Beautiful Soup 解析网页；

通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree

select（选择器）定位数据

找出含有特定标签的html元素

import requests
from bs4 import BeautifulSoup
url='http://site.gzcc.cn/html/2018/xkcg_0615/1729.html'
res = requests.get(url)
res.encoding = 'utf-8'
res.text

yuansu = soup.select('li')
yuansu

找出含有特定类名的html元素

tedinglei = soup.select('.news-list-title')
tedinglei

找出具有特定id名的html元素

id = soup.select('#q')
id

3.提取一篇校园新闻的标题、发布时间、发布单位

url = 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'

import requests
from bs4 import BeautifulSoup

url="http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html";
res=requests.get(url);
res.encoding=res.apparent_encoding;
text=res.text;

soup=BeautifulSoup(text,"html.parser");

title=soup.select(".show-title");
print(title);

time=soup.select(".show-info");
print(time);