RyanCrawler
以Jsoup為請求/下載下傳子產品，重構部分底層，重構請求載入結構，重寫參數注入方式，嵌入部分增強功能，優化I/O流，可對單個請求定制化，并支援下載下傳功能。
以JsoupXpath為解析子產品，重構解析結構，重寫函數、軸、操作符解析方式提高性能和易讀性，緩存文法樹，移除部分華而不實的功能，增強Xpath文法子產品，且支援在篩選結果中繼續XPath篩選 doc.xpath("xpath").xpath("xpath")
快速開始
public class Demo implements Processor {
private CrawlerSite cr = CrawlerSite.create()
.userAgent("Mozilla/5.0 (Macintosh;Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36")
.ignoreContentType(true)
.timeOut(1000)//逾時時間
.setFilePath("/Users/Rui_Statham/Downloads");// 如果填寫該路徑，則會預設下載下傳通路過的頁面到該頁面
public CrawlerSite getSite() {
return cr;
}
public static void main(String[] args) throws IOException {
Response res = PageProcessor.create(new Demo()).url("https://www.baidu.com/s?wd=Java").execute();// 執行請求
Document doc = res.parse();// 格式化doc doc.xpath("//div[@id='content_left']/div[position()<4]/h3/a/@href");
}
}
請求子產品
因請求子產品基于Jsoup重構，為相容原生Jsoup保留大部分API(保留95%以上)，固可參考Jsoup API；
解析子產品
文法
支援标準Xpath文法(支援謂語嵌套)，支援全部常用函數，支援全部常用軸，去掉了一些标準裡面華而不實的函數和軸，下面會具體介紹。文法可以參考http://www.w3school.com.cn/xpath/index.asp
關于使用Xpath的一些注意事項
非常不建議直接粘貼Firefox或chrome裡生成的Xpath，這些浏覽器在渲染頁面會根據标準自動補全一些标簽，如table标簽會自動加上tbody标簽，這樣生成的Xpath路徑顯然不是最通用的，是以很可能就取不到值。是以，要使用Xpath并感受Xpath的強大以及他所帶來便捷與優雅最好就是學習下Xpath的标準文法，這樣應對各種問題才能遊刃有餘，享受Xpath的真正威力！
特别說明
RyanCrawler解析子產品支援以下幾種寫法：
原生Jsoup寫法：doc.select("div#id div.class:last");
現在的寫法：doc.xpath("//*[@id='id']/div[class='class']/div[last()]");
現在的寫法： doc.xpath("//*[@id='id']").select("div.class").xpath("//div[last]");
現在的寫法2：doc.getElementById("id").select("div.class").xpath("//div[last]");
Xpath部分示例
http://www.cnblogs.com/ 為例
//a/@href;
//div[@id='paging_block']/div/a[text()='Next >']/@href;
//div[@id='paging_block']/div/a[text()*='Next']/@href;
//h1/text();
//h1/allText();
//h1//text();
//div/a;
//div[@id='post_list']/div[position()<3]/div/h3/allText();
//div[@id='post_list']/div[first()]/div/h3/allText();
//div[@id='post_list']/div[1]/div/h3/allText();
//div[@id='post_list']/div[last()]/div/h3/allText();//查找評論大于1000的條目(當然隻是為了示範複雜xpath了，謂語中可以各種嵌套，這樣才能測試的更全面嘛)
//div[@id='post_list']/div[./div/div/span[@class='article_view']/a/num()>1000]/div/h3/allText();//軸支援
//div[@id='post_list']/div[self::div/div/div/span[@class='article_view']/a/num()>1000]/div/h3/allText();
//div[@id='post_list']/div[2]/div/p/preceding-sibling::h3/allText();
//div[@id='post_list']/div[2]/div/p/preceding-sibling::h3/allText()|//div[@id='post_list']/div[1]/div/h3/allText();
函數
名稱
描述
href()
節點内所有a标簽的絕對位址
text()
提取節點的自有文本
node()
提取所有節點
position()
傳回目前節點所處在同胞中的位置
last()
傳回同級節點中的最後那個節點
first()
傳回同級節點中的第一個節點
解析器擴充函數
名稱
描述
allText()
提取節點下全部文本，取代類似 //div/h3//text()這種遞歸取文本用法
html()
擷取全部節點的内部的html
outerHtml()
擷取全部節點的包含節點本身在内的全部html
num()
抽取節點自有文本中全部數字，如果知道節點的自有文本(即非子代節點所包含的文本)中隻存在一個數字，如閱讀數，評論數，價格等那麼直接可以直接提取此數字出來。如果有多個數字将提取第一個比對的連續數字。
其他說明
contains(arga,argb)這個函數暫時不支援，可以用*=取代contains() 例：//div[text()*='next']
軸
名稱
描述
self
節點自身
parent
父節點
child
子節點
ancestor
全部祖先節點 父親，爺爺 ， 爺爺的父親...
ancestor-or-self
全部祖先節點和自身節點
descendant
全部子代節點 兒子，孫子，孫子的兒子...
descendant-or-self
全部子代節點和自身
preceding-sibling
節點前面的全部同胞節點
following-sibling
節點後面的全部同胞節點
擴充軸
名稱
描述
preceding-sibling-one
前一個同胞節點
following-sibling-one
傳回下一個同胞節點
sibling
全部同胞
操作符
名稱
描述
a+b
傳回數值相加結果
a-b
傳回數值相減結果
a=b
判斷是否相等傳回Boolean
a!=b
不等于 傳回Boolean
a>b
大于 傳回Boolean
a>=b
大于等于 傳回Boolean
a
小于 傳回Boolean
a<=b
小于等于 傳回Boolean
操作符擴充
名稱
描述
a^=b
字元串a以字元串b開頭 a startwith b
a*=b
a包含b, a contains b
a$=b
a以b結尾 a endwith b
a~=b
a的内容符合 正規表達式b
a!~b
a的内容不符合 正規表達式b