【Java】Jsoup爬蟲快速入門案例

1、前言

該技術部落格是根據B站狂神說Java教程的筆記總結，希望能為大家帶來幫助！

2、Jsoup實戰案例

爬蟲可以了解為爬取資料，所謂爬取資料就是：

擷取請求傳回的頁面資訊，篩選出我們想要的資料

如果想要爬取資料，需要通過jsoup，是以首先我們需要建立一個maven項目，在maven中導入jsoup依賴jar包：

<!--jsoup：用于解析網頁。不能爬取電影、音樂等-->
<!--如果想要爬取電影音樂資源，需要導入tika依賴-->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

我們使用京東頁面進行資料爬取展示，網址如下：

http://search.jd.com/Search?keyword=java

【Java】Jsoup爬蟲快速入門案例

資料爬取案例代碼展示如下：

//建立實體類，用于封裝頁面中需要爬取的資料
public class Content {
    private String title;
    private String img;
    private String price;
    //可以自己酌情添加屬性

    public Content(String title, String img, String price) {
        this.title = title;
        this.img = img;
        this.price = price;
    }

    @Override
    public String toString() {
        return "Content{" +
                "title='" + title + '\'' +
                ", img='" + img + '\'' +
                ", price='" + price + '\'' +
                '}';
    }
}
=================================================================================
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;

public class HtmlParseUtil {
    public static void main(String[] args) throws Exception {
        //進行測試，調用方法，輸入想要爬取資料的關鍵字
        HtmlParseUtil util = new HtmlParseUtil();
        List<Content> list = util.parseJD("三國演義");
        for (Content content : list) {
            System.out.println(content);
        }
    }

    public List<Content> parseJD(String keywords) throws Exception {
        //擷取請求，我們使用京東頁面作為示範例子：http://search.jd.com/Search?keyword=[keywords]
        //注意：爬取資料過程需要聯網
        String url = "http://search.jd.com/Search?keyword=" + keywords;

        //得到url後，解析網頁，該 Document對象 就是浏覽器 Document對象
        Document document = Jsoup.parse(new URL(url), 30000);
        Element element = document.getElementById("J_goodsList");
        //擷取所有的li元素
        Elements elements = element.getElementsByTag("li");
        //建立ArrayList集合，将所有的查詢對象添加到集合中
        ArrayList<Content> goodsList = new ArrayList<>();
        //擷取li元素中的内容，這裡的el就是每一個li元素
        for (Element el : elements) {
            //關于這種圖檔特别多的網站，所有的圖檔都是延時加載的
            //代碼中的p-price,p-name等屬性名是通過手動審查網頁元素得到
            String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
            String price = el.getElementsByClass("p-price").eq(0).text();
            String title = el.getElementsByClass("p-name").eq(0).text();

            goodsList.add(new Content(title, img, price));
        }
        return goodsList;
    }
}

輸出結果如下：

Content{title='三國演義（套裝上下冊）（全二冊）（中國古典文學讀本叢書，1-9年級必讀書單） 三國演義（套裝上下冊）（全二冊）（中國古典文學讀本叢書，1-9年級必讀書單）', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/54594/9/2803/246916/5d0a1635E98b4dc52/095f4cc72141902f.jpg', price='￥32.00'}
Content{title='三國演義（上下冊）（四大名著原著大字本：《國文》推薦閱讀叢書 ） 四大名著大字本，教育部統編國文推薦閱讀;内容經典，字大行疏，閱讀舒适（随書附贈：《三國演義地圖》+《三國時期大事年表》）', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/56082/2/5824/222939/5d36afd7E6dabc2e3/79b0dbeec5f3a45d.jpg', price='￥67.30'}
Content{title='完整無删減四大名著全套原著正版 國中生版三國演義西遊記水浒傳紅樓夢正版注音注釋國小生四大名著文言文', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/162155/1/15679/301700/6065278aE99eddbea/601d9628cfa862f2.jpg', price='￥188.00'}
Content{title='三國演義（新版，易中天推薦版本） 以毛本為底本，結合明代嘉靖本、《三國志》等綜合彙校，恢複羅貫中筆下豐富立體的重要人物形象。原創繪制53幅戰役細節圖輕松了解戰争全貌。', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/167308/5/3682/285853/60094d48E69a6783b/1585b58c6bf9a577.jpg', price='￥128.00'}
Content{title='附贈地圖三國演義(上下) 原著四大名著完整版120回帶注解 适用中學生閱讀文言文白話文 人民文學出版 附贈人物關系圖點選檢視三國演義(上下)+紅樓夢(上下)共四冊，原版原著無删減人民文學出版三國演義(上下)+紅樓夢(上下)共四冊，原版原著無删減', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/167460/36/6652/649699/60305acdEfa62a6fd/2fe9b6e211bc8bee.png', price='￥23.80'}
Content{title='凱叔三國演義全集1-16(套裝共16冊，故事大王凱叔白話文版三國演義) 3000萬家長喜愛的凱叔講三國演義，同名音頻節目全網熱銷10萬單。 100冊以上團購優惠聯系電話4006186622', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/62383/20/10571/473164/5d7ef051E573df628/47e167078abfcc97.jpg', price='￥523.50'}
Content{title='三國演義幼兒美繪本 套裝全10冊中國四大名著彩繪注音版有聲伴讀 3-6歲兒童繪本幼小銜接包郵 畫給3-8歲孩子的中華經典名著，大字注音，有聲伴讀，41款誇張角色，600餘張精美插圖，29個三國問答，10大智力挑戰，以一種超有趣的方式親近名著經典。', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/156113/8/12402/404575/60408d3dE64dbb64c/88127e66c1933e1e.jpg', price='￥146.60'}
Content{title='三國演義連環畫60冊 函裝藍皮珍藏老版懷舊四大名著連環畫小人書全套經典兒童故事繪本漫畫課外讀物上海人民美術出版社 四大名著連環畫小人書全套經典兒童故事繪本漫畫課外讀物,經典文學連環畫小人書重溫兒時經典64開 100冊以上團購優惠聯系電話4006186622', img='//img11.360buyimg.com/n1/s200x200_jfs/t24994/176/468629036/282859/9632737a/5b70efffNab3a910a.jpg', price='￥140.10'}
Content{title='三國演義（套裝上下冊）（四大名著珍藏版） 三國演義（套裝上下冊）（四大名著珍藏版）', img='//img11.360buyimg.com/n1/s200x200_jfs/t14908/140/1805436643/298667/d338c47b/5a5c51aeN82065441.jpg', price='￥149.90'}
Content{title='三國演義（上下）（《國文》推薦閱讀叢書 人民文學出版社） 100冊以上團購優惠聯系電話4006186622三國演義/四部古典/人民文學出版社2018版/版本完善，編校精良，助力成長', img='//img14.360buyimg.com/n1/s200x200_jfs/t1/129878/18/7185/159574/5f38b2d0E1c1977ae/8eb7021e61ba19c0.jpg', price='￥48.00'}
Content{title='四大名著全套國小生版原著正版青少年兒童版白話文水浒傳紅樓夢西遊記三國演義國小生世界名著小說 四大名著全套國小生版原著正版青少年兒童版白話文水浒傳紅樓夢西遊記三國演義國小生世界名著小說', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/120726/1/15957/259183/5f9394e7E68a82bea/86c17acf56bbe577.png', price='￥48.80'}
Content{title='四大名著青少版 三四五六年級課外書 兒童讀物10-14歲 美繪插圖三國演義水浒傳紅樓夢西遊記原著 正版 618限時钜惠！全場領券滿99-10！', img='//img14.360buyimg.com/n1/s200x200_jfs/t1/186871/10/9576/260100/60d0457dE654a5a34/667edb41056abfb6.jpg', price='￥148.00'}
Content{title='精裝四大名著全套原著版正版少兒青少年版原版學生版全集套裝4中國古典文學曆史書籍小說三國演義', img='//img14.360buyimg.com/n1/s200x200_jfs/t16447/238/1022153067/404527/1e971c4b/5a4d8323N8d188fcc.jpg', price='￥98.00'}
Content{title='三國演義（ 精裝四大名著 足本典藏 無障礙閱讀 注音解詞釋疑） 嚴格依據三國演義原著，文中加入刻本繡像，與原文相得益彰，不僅美觀，還能增進對文章的了解。百年老舍商務印書館品質保證 100冊以上團購優惠聯系電話4006186622', img='//img14.360buyimg.com/n1/s200x200_jfs/t5722/315/350498085/369749/4653240c/591ebf98Nff38b7d6.jpg', price='￥27.00'}
Content{title='中國四大古典名著連環畫 禮盒套裝全136冊 徐宏達 西遊記水浒傳三國演義紅樓夢連環畫小人書老版懷舊經典收藏版 名家圖畫四大名著數代國人的審美啟蒙讀物,禮盒套裝全136冊徐宏達西遊記水浒傳三國演義紅樓夢連環畫小人書老版懷舊經典收藏版', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/10797/1/6724/87409/5c24083cE09cb99d1/d2ea2265385befbe.jpg', price='￥260.00'}
Content{title='中國古典文學讀本叢書：四大名著權威定本（紅樓夢+三國演義+水浒傳+西遊記）（套裝共8冊） 中國古典文學讀本', img='//img13.360buyimg.com/n1/s200x200_jfs/t1/52144/5/2758/238626/5d0a157aE9c12b5e6/e08cae235dd1456a.jpg', price='￥159.70'}
Content{title='李鵬飛給孩子講三國演義（全6冊，贈考點一本通、三國演義主要人物圖譜、音頻課） 北京大學教授、中國古代文學專家——李鵬飛，帶孩子真正讀懂《三國演義》，提升國文素養，掌握應試技能！羅振宇、張泉靈、聯考國文名師申怡等推薦閱讀！', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/172825/32/6008/169826/60823eb2E55f122ef/a035ecf466ef5bbf.jpg', price='￥285.10 ￥278.00'}
Content{title='三國演義（套裝上下冊） 中國古代小說名著插圖典藏系列', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/78862/6/9172/488636/5d6e05d4E31443e8d/a14ff6dd5177bae0.jpg', price='￥32.40'}
Content{title='大字足本無删減版 中國四大名著三國演義水浒傳西遊記紅樓夢全套原著正版文言文學生無障礙閱讀珍藏版', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/118752/11/2179/155846/5ea00ef2E0a2d8de1/f8ebb29d0ce607ed.jpg', price='￥228.00'}
Content{title='四大名著（全四冊 精裝彩色插圖珍藏本 附贈精美書簽）西遊記+紅樓夢+水浒傳+三國演義 完整無删減，每冊書後均附有人物關系圖，并附贈人物關系圖小冊子。古典繡像插圖，生動形象。無障礙閱讀，注音釋義，通俗易懂。鎖線裝訂，結實耐用。', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/141487/16/14134/526198/5faba12aEd0bc4168/e09ee74a3e799e33.jpg', price='￥196.20'}
Content{title='三國演義/快樂讀書吧五年級下冊無障礙閱讀學生版兒童文學四大名著（無障礙閱讀彩插本） 兒童文學課外閱讀精讀版。新老版本随機發貨，封面不同内容一緻100冊以上團購優惠聯系電話4006186622', img='//img12.360buyimg.com/n1/s200x200_jfs/t1/114747/16/13471/118607/5f238c23Ec03fb43b/2e8c86a16d8db852.jpg', price='￥18.60'}
Content{title='漫畫中國古典名著：西遊記 三國演義 水浒傳 紅樓夢（套裝共4冊） 薇娅推薦100冊以上團購優惠聯系電話4006186622', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/123178/6/19726/269260/5fbb5345E8c9692bc/bf9397b8dcd1cea6.jpg', price='￥120.00'}
Content{title='學生基礎閱讀書目·中國古典文學經典名著·适合青少年閱讀白話美繪版·四大名著·上下卷：三國演義 100冊以上團購優惠聯系電話4006186622', img='//img13.360buyimg.com/n1/s200x200_jfs/t19756/212/1271659156/246824/a804b94d/5ac429aeN85a04c72.jpg', price='￥79.80'}
Content{title='三國演義 精裝硬殼 原著無删減 文白對照 全注全譯 中國古典小說經典名著 中國文聯 三國演義 精裝硬殼 原著無删減 文白對照 全注全譯 中國古典小說經典名著 中國文聯', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/129232/3/18302/215793/5faf39d0E3c8f534e/d5b820bd609dbb5a.jpg', price='￥18.80'}
Content{title='三國演義 原著青少年版高中成人原文無删減無障礙學生版原文注釋生僻字注音解釋 精裝', img='//img10.360buyimg.com/n1/s200x200_jfs/t1/3907/11/9084/513022/5bab444bEa78e1a20/9296fc46957b19b5.png', price='￥26.10'}
Content{title='四大名著青少版：西遊記+紅樓夢+水浒傳+三國演義 快樂讀書吧五年級下冊閱讀 新老版本随機發智慧熊圖書 汪峰推薦，章節導讀，增加讀後感，增加成長啟示和寫作積累單元，書末加入知識考點查漏補缺。培養孩子堅強品格。五年級單品100冊以上請打優惠電話4006186622', img='//img14.360buyimg.com/n1/s200x200_jfs/t1/157616/18/17357/297951/606ea2acE0ec53a40/ba72fb91679e56c3.jpg', price='￥44.40'}
Content{title='三國演義/全本無删減 無障礙閱讀 五年級下必讀 （贈京師大講堂視訊解析） 北京市特級教師視訊講解，為學生掃清閱讀障礙。北師大文學博士王海洋通過導讀、注釋、評析解讀整本書，幫學生領悟名著精髓，經典版本精心呈現。 100冊以上團購優惠聯系電話4006186622', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/132370/21/9433/467397/5f57379fEb646e7ae/dbcfd7eb92f3876f.jpg', price='￥41.10'}
Content{title='三國演義（青少年無障礙閱讀版 新課标必讀） 白話文，生僻字注音，任務關系圖，好讀易懂的四大名著 100冊以上團購優惠聯系電話4006186622', img='//img14.360buyimg.com/n1/s200x200_jfs/t3331/245/1086508122/304733/9b91e634/581c4edbN814ce19f.jpg', price='￥29.80'}
Content{title='四大名著全套國小生版注音版4冊西遊記三國演義水浒傳紅樓夢完整版原著正版兒童版帶拼音青少年版國小課外書 學生少兒課外閱讀書籍學校指定國小生版加厚注音全套4冊', img='//img13.360buyimg.com/n1/s200x200_jfs/t1/135995/26/19472/319879/5fd46ec0Efb7e3f01/8b8a42d1f5279439.jpg', price='￥129.80'}
Content{title='全套四大名著兒童版注音原著西遊記三國演義紅樓夢水浒傳青少版一年級二年級課外書7-10歲閱讀兒童書籍 四大名著 全套四大名著兒童版注音原著西遊記三國演義紅樓夢水浒傳青少版一年級二年級課外書7-10歲閱讀兒童書籍 四大名著', img='//img11.360buyimg.com/n1/s200x200_jfs/t1/186710/18/4064/225439/60a4bbf3E2cd54784/399caed6347035a7.jpg', price='￥48.00 ￥45.60'}

【Java】Jsoup爬蟲快速入門案例

1、前言

2、Jsoup實戰案例

繼續閱讀

neo4j之cypher使用文檔

适用于JavaScript的ECMAScript 2020規範向前發展

GitHub連夜封殺！這份阿裡 10W 字内部 Java 字面試手冊到底有多強？

spark/scala關于【資源檔案】加載方法概述外部檔案加載方案測試資源檔案打包入jar包中小結

mybatis_入門程式Mybatis入門

JS生成uuid的四種方法

maven No compiler is provided in this environment. Perhaps you are running on a JRE rather than a J

AOP程式設計_Android優雅權限架構(1)概念基礎，2021金三銀四前言正文大綱正文

Effective Java 8:通用程式設計

OOM三種類型

工廠模式-三種類型

【遞歸】高效率求2的n次幂

layui多任務上傳添加進度條

win10本地scala和spark安裝安裝scala安裝spark

scala (3) Function 和 Method

Opendaylight課堂之深度剖析toaster（一）