天天看點

node.js使用cheerio抓取網頁資料

/*
 * @Description: 使用cheerio抓取網頁資料
 * @Version: 1.0
 * @Autor: Nanke_南柯
 * @Date: 2021-11-02 18:59:35
 * @LastEditors: Nanke_南柯
 * @LastEditTime: 2021-11-02 19:31:44
 */
// npm i cheerio -S 安裝html 解析html非常友善,就像在浏覽器中使用jquery一樣
const http = require("http")
const https = require("https")
const cheerio =require("cheerio")
let filterData = (data)=>{
    // console.log('整個頁面',data);
    const $ = cheerio.load(data)
    $('.typography-body-reduced').each((index,el)=>{
        console.log('通過cheerio插件擷取我們想要的dom的索引:',index);
        console.log('通過cheerio插件擷取我們想要的dom:',$(el).text());
    })
}
const server = http.createServer((req,res)=>{
    let data = ''
    https.get('https://www.apple.com.cn/iphone/',(result)=>{
        result.on('data',(chunk)=>{
            data+=chunk
        })
        result.on('end',()=>{
            filterData(data)
        })
    })
})

server.listen(5080,()=>{
    console.log('localhost:5080 Listen...');
})      

hotnode index.js後浏覽器通路http://localhost:5080/

可以看到 利用cheerio插件我們可以直接篩選我們爬取到整個網頁的内容進行過濾,得到我們想要的内容,如圖

node.js使用cheerio抓取網頁資料