欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

SpringBoot使用jsoup爬取HTML的方法

 更新時(shí)間:2024年02月29日 15:04:36   作者:IT利刃出鞘  
jsoup 是一款 Java 的 HTML 解析器,它提供了一套非常便利的 API,可通過 DOM、CSS 通過類似于 JQuery 的操作方法來取出和操作數(shù)據(jù),這篇文章主要介紹了SpringBoot使用jsoup爬取HTML,需要的朋友可以參考下

簡介

本文介紹SpringBoot--使用jsoup(Java爬蟲工具)的方法。

jsoup 是一款 Java 的 HTML 解析器,它提供了一套非常便利的 API,可通過 DOM、CSS 通過類似于 JQuery 的操作方法來取出和操作數(shù)據(jù)。

jsoup的主要功能

  • 從一個(gè)URL、文件或字符串中解析HTML;
  • 用DOM和css或類似jquery的selector語法獲取Element,然后從從中獲取節(jié)點(diǎn)屬性、文本、html
  • 對Element的進(jìn)行操作,包括HTML的值、節(jié)點(diǎn)內(nèi)容的值和設(shè)置節(jié)點(diǎn)屬性的值;

引入依賴

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.15.4</version>
</dependency>

解析Document

Jsoup支持四種方式解析Document,即可以輸入四種內(nèi)容得到一個(gè)Document:

  • 字符串
  • body片段
  • URL
  • 文件

字符串解析示例

字符串中必須包含head和body元素。

String html = "<html><head><title>First parse</title></head>"
  + "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);

body片段解析

String html = "<div><p>Lorem ipsum.</p>";
Document doc = Jsoup.parseBodyFragment(html);
// doc 此時(shí)為:<body> <p>Lorem ipsum.</p></body>
Element body = doc.body();
System.out.println(body);

從URL解析

Document doc = Jsoup.connect("http://example.com/").get();
String title = doc.title();

還可以攜帶cookie等參數(shù):

Document doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  // 自定義key和value
  .header("Content-Type", "application/json")
  .timeout(3000)
  .post();

從文件解析

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8");

選擇元素

獲取數(shù)據(jù)一共有 2 種方式,分別為 DOM方式、CSS選擇器方式。

DOM方式

將HTML解析成一個(gè)Document之后,就可以使用類似于DOM的方法進(jìn)行操作。

Document doc = Jsoup.connect("http://csdn.com").get();
// 獲取帶有 href 屬性的 a 元素
Elements elements = doc.select("a[href]");
for (Element content : elements) {
    String linkHref = content.attr("href");
    String linkText = content.text();
    System.out.print(linkText + "\t");
    System.out.println(linkHref);
}

說明

Elements這個(gè)對象提供了一系列類似于DOM的方法來查找元素,抽取并處理其中的數(shù)據(jù)。具體如下:

查找元素

  • getElementById(String id):通過id來查找元素
  • getElementsByTag(String tag):通過標(biāo)簽來查找元素
  • getElementsByClass(String className):通過類選擇器來查找元素
  • getElementsByAttribute(String key) :通過屬性名稱來查找元素,例如查找?guī)в衕ref元素的標(biāo)簽。
  • siblingElements():獲取兄弟元素。如果元素沒有兄弟元素,則返回一個(gè)空列表。
  • firstElementSibling():獲取第一個(gè)兄弟元素。
  • lastElementSibling():獲取最后一個(gè)兄弟元素。
  • nextElementSibling():獲取下一個(gè)兄弟元素。
  • previousElementSibling():獲取上一個(gè)兄弟元素。
  • parent():獲取此節(jié)點(diǎn)的父節(jié)點(diǎn)。
  • children():獲取此節(jié)點(diǎn)的所有子節(jié)點(diǎn)。
  • child(int index):獲取此節(jié)點(diǎn)的指定子節(jié)點(diǎn)。

CSS選擇器方式

可以使用類似于CSS選擇器的語法來查找和操作元素,常用的方法為select(String selector)。

Document doc = Jsoup.connect("http://csdn.com").get();
// 獲取帶有 href 屬性的 a 元素
Elements elements = doc.select("a[href]");
for (Element content : elements) {
    String linkHref = content.attr("href");
    String linkText = content.text();
    System.out.print(linkText + "\t");
    System.out.println(linkHref);
}

說明

  • select()方法在Document、Element或Elements對象中都可以使用,而且是上下文相關(guān)的,因此可實(shí)現(xiàn)指定元素的過濾,或者采用鏈?zhǔn)皆L問。
  • select() 方法將返回一個(gè)Elements集合,并提供一組方法來抽取和處理結(jié)果。

鏈?zhǔn)皆L問示例

Document document = Jsoup.connect(URL).get();
// URL是要爬取頁面的鏈接
Elements elements = document
            .select("div.vsb-box")
            .select("h2[class=cleafix]")
            .select("a[href]");

獲取數(shù)據(jù)

獲得元素后,就可以獲取元素中的數(shù)據(jù)。

方法有

  • attr(String key):獲取單個(gè)屬性值
  • attributes():獲取所有屬性值
  • attr(String key, String value):設(shè)置屬性值
  • text():獲取文本內(nèi)容
  • text(String value):設(shè)置文本內(nèi)容
  • html():獲取元素內(nèi)的HTML內(nèi)容
  • html(String value):設(shè)置元素內(nèi)的HTML內(nèi)容
  • outerHtml():獲取元素外HTML內(nèi)容
  • data():獲取數(shù)據(jù)內(nèi)容(例如:script和style標(biāo)簽)
  • id():獲得id值(例:<p id="goods">衣服</p>)
  • className():獲得第一個(gè)類選擇器值
  • classNames():獲得所有的類選擇器值
  • tag():獲取元素標(biāo)簽
  • tagName():獲取元素標(biāo)簽名(如:<p>、<div>等)
  • .hasClass(String className):檢查這個(gè)元素是否含有一個(gè)類選擇器(不區(qū)分大小寫)。
String html = "<p><a ><b>example</b></a> link.</p>";
Document doc  = Jsoup.parse(html);
// 查找第一個(gè)<a>元素
Element link = doc.select("a").first();
String text  = link.text();
// 輸出:example
String href = link.attr("href");
// 輸出:http://csdn.com/
String aHtml = link.outerHtml();
// 輸出:<b>example</b>
String aOuterHtml = link.outerHtml();
// 輸出:<a ><b>example</b></a>

修改數(shù)據(jù)

解析了Document對象后,可能想修改其中的某些屬性值,把它輸出到前臺頁面或保存到其他地方,jsoup對此提供了一套非常簡便的接口(支持鏈?zhǔn)綄懛ǎ?/p>

設(shè)置屬性的值

以下方法針對Element對象操作時(shí),只有一個(gè)元素會受到影響。當(dāng)針對Elements對象進(jìn)行操作時(shí),會影響到多個(gè)元素。

  • attr(String key, String value):設(shè)置標(biāo)簽的屬性值。
  • addClass(String className):增加類選擇器選項(xiàng)
  • removeClass(String className):刪除對應(yīng)的類選擇器
Document doc = Jsoup.connect("http://csdn.com").get();
Elements elements = doc.getElementsByClass("text");
// 復(fù)數(shù),Elements
Element element = elements.first();
// 單數(shù),Element
elements.attr("name","goods");
// 復(fù)數(shù)對象,所有 class="text" 的元素都將受到影響
element.attr("name","shop")
        .addClass("red");
// 單數(shù)對象,只有一個(gè)元素會受到影響(鏈?zhǔn)綄懛ǎ?/pre>

修改元素的HTML內(nèi)容

  • html(String value):這個(gè)方法將先清除元素中的HTML內(nèi)容,然后用傳入的HTML代替。
  • prepend(String value):在元素前添加html內(nèi)容。
  • append(String value):在元素后添加html內(nèi)容。
  • wrap(String value):對元素包裹一個(gè)外部HTML內(nèi)容,將元素置于新增的內(nèi)容中間。
Document doc = Jsoup.connect("http://csdn.com").get();
Element div = doc.select("div").first();
div.html("<p>csdn</p>");
div.prepend("<p>a</p>");
div.append("<p>good</p>");
// 輸出:<div"> <p>a</p> <p>csdn</p> <p>good</p> </div>
Element span = doc.select("span").first();
span.wrap("<li><a href='...'></a></li>");
// 輸出: <li><a href="..." rel="external nofollow" > <span>csdn</span> </a></li>

修改元素的文本內(nèi)容

對于傳入的文本,如果含有像 <, > 等這樣的字符,將以文本處理,而非HTML。

  • text(String text) :清除元素內(nèi)部的HTML內(nèi)容,然后用提供的文本代替。
  • prepend(String first):在元素后添加文本節(jié)點(diǎn)。
  • Element.append(String last):在元素前添加文本節(jié)點(diǎn)。
Element div = doc.select("div").first();
 // <div></div>
div.text(" one "); 
div.prepend(" two ");
div.append(" three ");
// 輸出: <div> two one three </div>

到此這篇關(guān)于SpringBoot使用jsoup爬取HTML的文章就介紹到這了,更多相關(guān)SpringBoot使用jsoup爬取HTML內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 為什么程序中突然多了 200 個(gè) Dubbo-thread 線程的說明

    為什么程序中突然多了 200 個(gè) Dubbo-thread 線程的說明

    這篇文章主要介紹了為什么程序中突然多了 200 個(gè) Dubbo-thread 線程的說明,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-09-09
  • IDEA之web項(xiàng)目導(dǎo)入jar包方式

    IDEA之web項(xiàng)目導(dǎo)入jar包方式

    這篇文章主要介紹了IDEA之web項(xiàng)目導(dǎo)入jar包方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-05-05
  • MyBatisPlus分頁的同時(shí)指定排序規(guī)則說明

    MyBatisPlus分頁的同時(shí)指定排序規(guī)則說明

    這篇文章主要介紹了MyBatisPlus分頁的同時(shí)指定排序規(guī)則說明,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-12-12
  • SpringMVC中Model與Session的區(qū)別說明

    SpringMVC中Model與Session的區(qū)別說明

    這篇文章主要介紹了SpringMVC中Model與Session的區(qū)別說明,具有很好的參考價(jià)值,希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-12-12
  • java生成餅圖svg及JFreeChart生成svg圖表

    java生成餅圖svg及JFreeChart生成svg圖表

    java生成餅圖svg,代碼實(shí)現(xiàn)感覺有點(diǎn)復(fù)雜,個(gè)人認(rèn)為不如用JFreeChart,這篇文章主要介紹java生成餅圖svg及JFreeChart生成svg圖表,有需要的小伙伴可以參考下
    2015-08-08
  • javaSE基礎(chǔ)如何通俗的理解javaBean是什么

    javaSE基礎(chǔ)如何通俗的理解javaBean是什么

    所謂的Java Bean,就是一個(gè)java類,編譯后成為了一個(gè)后綴名是 .class的文件。這就是Java Bean,很多初學(xué)者,包括當(dāng)年的我自己,總是被這些專有名詞搞的暈頭轉(zhuǎn)向
    2021-10-10
  • 教你如何用Jenkins自動化部署項(xiàng)目(從零到搭建完成)

    教你如何用Jenkins自動化部署項(xiàng)目(從零到搭建完成)

    這篇文章主要介紹了教你如何用Jenkins自動化部署項(xiàng)目(從零到搭建完成),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-10-10
  • 最新評論