天天看點

HTML解析利器Jericho

作者:Esgoon

Jericho HTML Parser是一個開源Java庫,允許分析和操作HTML文檔,包括伺服器端标記,例如ASP、JSP、PHP等語言标記也是可以解析識别的。作為一款小而美的HTML解析工具,它的整個jar包大小隻有不到200KB,這使得它不僅可以被用于有需要的伺服器端程式,也可以被用于移動裝置例如Android App中。目前最新版本為3.4。

HTML解析利器Jericho

1.官方網址

http://jericho.htmlparser.net/docs/index.html

2.下載下傳位址

https://sourceforge.net/projects/jerichohtml/

3.特性

雖然體積不大,但其提供了非常豐富的針對HTML文檔的解析功能,相比于其他的HTML解析工具,Jericho有以下特點:

  • 過濾掉任何無法識别的或無效的 HTML,使得解析不規則HTML的容錯性好。
  • 可以識别并解析伺服器标記語言ASP、JSP、PHP,即使普通HTML中有這些标記,仍然可以正确解析。
  • 一個使用StreamedSource類的基于流的解析選項,它允許使用事件疊代器對大檔案進行記憶體高效處理。
  • 它既不是基于事件的解析器,也不是基于樹的解析器,而是使用簡單的文本搜尋、高效的标簽識别和标簽位置緩存的組合。
  • 與DOM等基于樹的解析器相比,如果隻需要解析或修改文檔的小部分,那麼記憶體和資源需求會更好。
  • 源文檔中每個位置的行号和列号都很容易通路。
  • 可以很容易地定義和注冊自定義标記類型,以供解析器識别。
  • 可以從HTML标記中提取所有文本,适用于輸入Apache Lucene等文本搜尋引擎。
  • 格式化HTML源代碼,根據元素在文檔元素層次結構中的深度縮進元素。
  • 可以删除所有不必要的空白來壓縮HTML源代碼。

我們試着解析Jericho官網:http://jericho.htmlparser.net/docs/index.html,對應源檔案:

HTML解析利器Jericho

來看一些簡單示例:

public static void main(String[] args) throws MalformedURLException, IOException {
    //jericho官網URL
    String url = "http://jericho.htmlparser.net/docs/index.html";
    Source source = new Source(new URL(url));
    //擷取HTML文檔encoding屬性
    String encoding = source.getEncoding();
    System.out.println(encoding);
    
    //擷取HTML文檔第一個标簽元素
    Element firstElement = source.getFirstElement();
    System.out.println(firstElement);
    
    //擷取所有的<H2>标簽元素
    List<Element> elements = source.getAllElements(HTMLElementName.H2);
    System.out.println(elements);
    
    //從HTML标記中提取所有文本
    Element firstP = source.getFirstElement(HTMLElementName.P);
    System.out.println("輸出标簽中的全部文本内容:" + firstP.getTextExtractor());
    
    //擷取文檔中第一個DIV标簽
    StartTag tagDiv = source.getFirstStartTag(HTMLElementName.DIV);
    
    //擷取屬性tagDiv标記的屬性
    Attributes attributes = tagDiv.getAttributes();
    System.out.println("輸出标簽中的全部屬性:" + attributes);
    
    //輸出屬性名、屬性值
    for (Attribute attr : attributes) {
        System.out.println("輸出标簽中的屬性鍵值:" + attr.getName() + " ===> " + attr.getValue());
    }
    
    //屬性替換
    Map<String, String> attributesMap = new HashMap<String, String>();
    attributesMap.put("font-size", "12pt");
    attributesMap.put("style", "background-color:red;width:200px;height:200px");
    OutputDocument output = new OutputDocument(tagDiv);
    System.out.println("替換前:" + output.toString());
    output.replace(attributes, attributesMap);
    System.out.println("替換後:" + output.toString());
    
    //縮進,格式化HTML源檔案
    String text = "<table><tr><td></td></tr><tr><td></td></tr></table>";
    Source textSource = new Source(text);
    String formatText = textSource.getSourceFormatter().toString();
    System.out.println("縮進後的内容:");
    System.out.println(formatText);
    
    //去掉空格
    SourceCompactor restoreText = 
            new SourceCompactor(new Segment(new Source(formatText), 0, formatText.length()));
    System.out.println("HTML壓縮後:" + restoreText);
}           

輸出如下:

UTF-8
<?xml version="1.0" encoding="UTF-8"?>
[<h2>Features</h2>, <h2>Sample Programs</h2>, <h2>Building</h2>, <h2>Alternative HTML Parsers</h2>]
輸出标簽中的全部文本内容:Jericho HTML Parser is a java library allowing analysis and manipulation of parts of an HTML document, including server-side tags, while reproducing verbatim any unrecognised or invalid HTML. It also provides high-level HTML form manipulation functions.
輸出标簽中的全部屬性: style="float: right; margin-left: 20px"
輸出标簽中的屬性鍵值:style ===> float: right; margin-left: 20px
替換前:<div style="float: right; margin-left: 20px">
替換後:<div font-size="12pt" style="background-color:red;width:200px;height:200px">
縮進後的内容:
<table>
	<tr>
		<td></td>
	</tr>
	<tr>
		<td></td>
	</tr>
</table>

HTML壓縮後:<table><tr><td></td></tr><tr><td></td></tr></table>           

繼續閱讀