天天看點

Node.js爬取豆瓣資料

一直自以為自己vue還可以,一直自以為webpack還可以,今天在慕課逛node的時候,才發現,自己還差的很遠。衆所周知,vue-cli基于webpack,而webpack基于node,對node不了解,談什麼了解webpack。是以就自己給自己出了一道題,爬取豆瓣資料,目前還處于初級階段。今天就淺談爬取到豆瓣的資料,再另一個頁面用自己的方式展現,後續會跟進。

1、需要解決的問題

①、搭建服務

②、怎麼處理爬到的資料

③、怎麼自動打開預設浏覽器

2、搭建服務

搭建服務有好幾種方式,一開始我用的http,但是http有個弊端就是不能解析https協定的url,是以就用了express,解析https協定的網址我用了request包,豆瓣的網址是https的,

今天爬取的是https://movie.douban.com/chart這個網址;如下圖,我要擷取的有三個部分,圖檔、電影名字、電影連結.

Node.js爬取豆瓣資料
Node.js爬取豆瓣資料

3、怎麼處理爬到的資料

我們用request爬到的資料,怎麼處理呢?cheerio包可以讓我們像Jq那樣處理爬到的html資料。

①、首先解析資料,取到爬取網頁的html資料;

Node.js爬取豆瓣資料

②、然後利用cheerio包操作爬到的資料,取到你想要的資料。

Node.js爬取豆瓣資料

③、取到資料,建立html,輸出到頁面。如下圖,我用的字元串拼接,辦法有點笨,還沒有找到更好的辦法。

Node.js爬取豆瓣資料

4、怎麼自動打開預設浏覽器

不知道你有沒有看vue-cli中webpack的配置,自動打開浏覽器,vue-cli用的opn包.

Node.js爬取豆瓣資料

這個包用起來很友善,引入包,直接調用opn(url)即可;

5、展示

Node.js爬取豆瓣資料
Node.js爬取豆瓣資料

原文釋出時間為:2018年02月24日

原文作者:

code-灰太狼

本文來源:

開源中國

如需轉載請聯系原作者

繼續閱讀