SpringBoot使用jsoup爬取HTML的方法
簡介
本文介紹SpringBoot--使用jsoup(Java爬蟲工具)的方法。
jsoup 是一款 Java 的 HTML 解析器,它提供了一套非常便利的 API,可通過 DOM、CSS 通過類似于 JQuery 的操作方法來取出和操作數(shù)據(jù)。
jsoup的主要功能
- 從一個(gè)URL、文件或字符串中解析HTML;
- 用DOM和css或類似jquery的selector語法獲取Element,然后從從中獲取節(jié)點(diǎn)屬性、文本、html
- 對Element的進(jìn)行操作,包括HTML的值、節(jié)點(diǎn)內(nèi)容的值和設(shè)置節(jié)點(diǎn)屬性的值;
引入依賴
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.15.4</version> </dependency>
解析Document
Jsoup支持四種方式解析Document,即可以輸入四種內(nèi)容得到一個(gè)Document:
- 字符串
- body片段
- URL
- 文件
字符串解析示例
字符串中必須包含head和body元素。
String html = "<html><head><title>First parse</title></head>" + "<body><p>Parsed HTML into a doc.</p></body></html>"; Document doc = Jsoup.parse(html);
body片段解析
String html = "<div><p>Lorem ipsum.</p>"; Document doc = Jsoup.parseBodyFragment(html); // doc 此時(shí)為:<body> <p>Lorem ipsum.</p></body> Element body = doc.body(); System.out.println(body);
從URL解析
Document doc = Jsoup.connect("http://example.com/").get(); String title = doc.title();
還可以攜帶cookie等參數(shù):
Document doc = Jsoup.connect("http://example.com") .data("query", "Java") .userAgent("Mozilla") .cookie("auth", "token") // 自定義key和value .header("Content-Type", "application/json") .timeout(3000) .post();
從文件解析
File input = new File("/tmp/input.html"); Document doc = Jsoup.parse(input, "UTF-8");
選擇元素
獲取數(shù)據(jù)一共有 2 種方式,分別為 DOM方式、CSS選擇器方式。
DOM方式
將HTML解析成一個(gè)Document之后,就可以使用類似于DOM的方法進(jìn)行操作。
Document doc = Jsoup.connect("http://csdn.com").get(); // 獲取帶有 href 屬性的 a 元素 Elements elements = doc.select("a[href]"); for (Element content : elements) { String linkHref = content.attr("href"); String linkText = content.text(); System.out.print(linkText + "\t"); System.out.println(linkHref); }
說明
Elements這個(gè)對象提供了一系列類似于DOM的方法來查找元素,抽取并處理其中的數(shù)據(jù)。具體如下:
查找元素
- getElementById(String id):通過id來查找元素
- getElementsByTag(String tag):通過標(biāo)簽來查找元素
- getElementsByClass(String className):通過類選擇器來查找元素
- getElementsByAttribute(String key) :通過屬性名稱來查找元素,例如查找?guī)в衕ref元素的標(biāo)簽。
- siblingElements():獲取兄弟元素。如果元素沒有兄弟元素,則返回一個(gè)空列表。
- firstElementSibling():獲取第一個(gè)兄弟元素。
- lastElementSibling():獲取最后一個(gè)兄弟元素。
- nextElementSibling():獲取下一個(gè)兄弟元素。
- previousElementSibling():獲取上一個(gè)兄弟元素。
- parent():獲取此節(jié)點(diǎn)的父節(jié)點(diǎn)。
- children():獲取此節(jié)點(diǎn)的所有子節(jié)點(diǎn)。
- child(int index):獲取此節(jié)點(diǎn)的指定子節(jié)點(diǎn)。
CSS選擇器方式
可以使用類似于CSS選擇器的語法來查找和操作元素,常用的方法為select(String selector)。
Document doc = Jsoup.connect("http://csdn.com").get(); // 獲取帶有 href 屬性的 a 元素 Elements elements = doc.select("a[href]"); for (Element content : elements) { String linkHref = content.attr("href"); String linkText = content.text(); System.out.print(linkText + "\t"); System.out.println(linkHref); }
說明
- select()方法在Document、Element或Elements對象中都可以使用,而且是上下文相關(guān)的,因此可實(shí)現(xiàn)指定元素的過濾,或者采用鏈?zhǔn)皆L問。
- select() 方法將返回一個(gè)Elements集合,并提供一組方法來抽取和處理結(jié)果。
鏈?zhǔn)皆L問示例
Document document = Jsoup.connect(URL).get(); // URL是要爬取頁面的鏈接 Elements elements = document .select("div.vsb-box") .select("h2[class=cleafix]") .select("a[href]");
獲取數(shù)據(jù)
獲得元素后,就可以獲取元素中的數(shù)據(jù)。
方法有
- attr(String key):獲取單個(gè)屬性值
- attributes():獲取所有屬性值
- attr(String key, String value):設(shè)置屬性值
- text():獲取文本內(nèi)容
- text(String value):設(shè)置文本內(nèi)容
- html():獲取元素內(nèi)的HTML內(nèi)容
- html(String value):設(shè)置元素內(nèi)的HTML內(nèi)容
- outerHtml():獲取元素外HTML內(nèi)容
- data():獲取數(shù)據(jù)內(nèi)容(例如:script和style標(biāo)簽)
- id():獲得id值(例:<p id="goods">衣服</p>)
- className():獲得第一個(gè)類選擇器值
- classNames():獲得所有的類選擇器值
- tag():獲取元素標(biāo)簽
- tagName():獲取元素標(biāo)簽名(如:<p>、<div>等)
- .hasClass(String className):檢查這個(gè)元素是否含有一個(gè)類選擇器(不區(qū)分大小寫)。
String html = "<p><a ><b>example</b></a> link.</p>"; Document doc = Jsoup.parse(html); // 查找第一個(gè)<a>元素 Element link = doc.select("a").first(); String text = link.text(); // 輸出:example String href = link.attr("href"); // 輸出:http://csdn.com/ String aHtml = link.outerHtml(); // 輸出:<b>example</b> String aOuterHtml = link.outerHtml(); // 輸出:<a ><b>example</b></a>
修改數(shù)據(jù)
解析了Document對象后,可能想修改其中的某些屬性值,把它輸出到前臺頁面或保存到其他地方,jsoup對此提供了一套非常簡便的接口(支持鏈?zhǔn)綄懛ǎ?/p>
設(shè)置屬性的值
以下方法針對Element對象操作時(shí),只有一個(gè)元素會受到影響。當(dāng)針對Elements對象進(jìn)行操作時(shí),會影響到多個(gè)元素。
- attr(String key, String value):設(shè)置標(biāo)簽的屬性值。
- addClass(String className):增加類選擇器選項(xiàng)
- removeClass(String className):刪除對應(yīng)的類選擇器
Document doc = Jsoup.connect("http://csdn.com").get(); Elements elements = doc.getElementsByClass("text"); // 復(fù)數(shù),Elements Element element = elements.first(); // 單數(shù),Element elements.attr("name","goods"); // 復(fù)數(shù)對象,所有 class="text" 的元素都將受到影響 element.attr("name","shop") .addClass("red"); // 單數(shù)對象,只有一個(gè)元素會受到影響(鏈?zhǔn)綄懛ǎ?/pre>
修改元素的HTML內(nèi)容
- html(String value):這個(gè)方法將先清除元素中的HTML內(nèi)容,然后用傳入的HTML代替。
- prepend(String value):在元素前添加html內(nèi)容。
- append(String value):在元素后添加html內(nèi)容。
- wrap(String value):對元素包裹一個(gè)外部HTML內(nèi)容,將元素置于新增的內(nèi)容中間。
Document doc = Jsoup.connect("http://csdn.com").get(); Element div = doc.select("div").first(); div.html("<p>csdn</p>"); div.prepend("<p>a</p>"); div.append("<p>good</p>"); // 輸出:<div"> <p>a</p> <p>csdn</p> <p>good</p> </div> Element span = doc.select("span").first(); span.wrap("<li><a href='...'></a></li>"); // 輸出: <li><a href="..." rel="external nofollow" > <span>csdn</span> </a></li>
修改元素的文本內(nèi)容
對于傳入的文本,如果含有像 <, > 等這樣的字符,將以文本處理,而非HTML。
- text(String text) :清除元素內(nèi)部的HTML內(nèi)容,然后用提供的文本代替。
- prepend(String first):在元素后添加文本節(jié)點(diǎn)。
- Element.append(String last):在元素前添加文本節(jié)點(diǎn)。
Element div = doc.select("div").first(); // <div></div> div.text(" one "); div.prepend(" two "); div.append(" three "); // 輸出: <div> two one three </div>
到此這篇關(guān)于SpringBoot使用jsoup爬取HTML的文章就介紹到這了,更多相關(guān)SpringBoot使用jsoup爬取HTML內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
MyBatis中的SQL映射文件如何配置參數(shù)映射和使用方法
MyBatis 是一種開源的 Java 持久化框架,它可以自動將數(shù)據(jù)庫中的數(shù)據(jù)映射到 Java 對象中,并且使得 Java 對象可以非常方便地存儲到數(shù)據(jù)庫中,本文將介紹 MyBatis 中 SQL 映射文件的參數(shù)映射配置和使用方法,需要的朋友可以參考下2023-07-07Spring Boot中RabbitMQ自動配置的介紹、原理和使用方法
本文介紹了Spring Boot中RabbitMQ自動配置的介紹、原理和使用方法,通過本文的介紹,我們希望讀者能夠更好地理解Spring Boot中RabbitMQ的使用方法,并在項(xiàng)目中更加靈活地應(yīng)用,感興趣的朋友跟隨小編一起看看吧2023-07-07

為什么程序中突然多了 200 個(gè) Dubbo-thread 線程的說明

IDEA之web項(xiàng)目導(dǎo)入jar包方式

MyBatisPlus分頁的同時(shí)指定排序規(guī)則說明

SpringMVC中Model與Session的區(qū)別說明

javaSE基礎(chǔ)如何通俗的理解javaBean是什么

教你如何用Jenkins自動化部署項(xiàng)目(從零到搭建完成)