Crawler：基于BeautifulSoup庫+requests庫+僞裝浏覽器的方式實作爬取14年所有的福彩網頁的福彩3D相關資訊，并将其儲存到Excel表格中

輸出結果

本來想做個科學預測，無奈，我看不懂爬到的資料……

得到資料：3D(爬取的14年所有的福彩資訊).rar

好吧，等我看到了再用機器學習算法預測一下……

完整代碼，請點選擷取

http://1111111111111

核心代碼

import requests

import BeautifulSoup

import xlwt

import time

#擷取第一頁的内容

def get_one_page(url):

headers = {

  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'

}

response = requests.get(url,headers=headers)

if response.status_code == 200:

  return response.text

return None

#解析第一頁内容，資料結構化

def parse_one_page(html):

  soup = BeautifulSoup(html,'lxml')

  i = 0

  for item in soup.select('tr')[2:-1]:

      yield{

          'time':item.select('td')[i].text,

          'issue':item.select('td')[i+1].text,

          'digits':item.select('td em')[0].text,

          'ten_digits':item.select('td em')[1].text,

          'hundred_digits':item.select('td em')[2].text,

          'single_selection':item.select('td')[i+3].text,

          'group_selection_3':item.select('td')[i+4].text,

          'group_selection_6':item.select('td')[i+5].text,

          'sales':item.select('td')[i+6].text,

          'return_rates':item.select('td')[i+7].text

    }

#将資料寫入Excel表格中

def write_to_excel():

  f = xlwt.Workbook()                            

  sheet1 = f.add_sheet('3D',cell_overwrite_ok=True)

  row0 = ["開獎日期","期号","個位數","十位數","百位數","單數","組選3","組選6","銷售額","返獎比例"]

  #寫入第一行

  for j in range(0,len(row0)):

      sheet1.write(0,j,row0[j])

  #依次爬取每一頁内容的每一期資訊，并将其依次寫入Excel

  i=0

  for k in range(1,247):

      url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list_%s.html' %(str(k))

……

  f.save('3D.xls')

def main():

  write_to_excel()

if __name__ == '__main__':

  main()