關(guān)于Jsoup將相對(duì)路徑轉(zhuǎn)為絕對(duì)路徑的方法
自從使用 HttpClient 和 Jsoup 配合編寫了幾個(gè)簡(jiǎn)單的入門爬蟲之后,發(fā)現(xiàn)對(duì)于絕對(duì)路徑的需求是很頻繁的,因?yàn)榇蟛糠值木W(wǎng)頁(yè)都寫相對(duì)路徑,這樣是有好處的,但是爬蟲還是需要獲取絕對(duì)的路徑的。 通常我的處理方式是在獲取的相對(duì)路徑路徑前面,拼接一個(gè)根路徑。當(dāng)是,這種方法只能適用于,相對(duì)路徑是相對(duì)于當(dāng)前路徑的,如果相對(duì)路徑是相對(duì)于當(dāng)前路徑的上一級(jí)或更上一級(jí),那就不好處理了。
正好我昨天我碰到了這種相對(duì)路徑。我無意間發(fā)現(xiàn)原來 Jsoup 本身就提供了這個(gè)功能,但是我發(fā)現(xiàn)很多其他人的博客,雖然介紹了 Jsoup 通過相對(duì)路徑獲取絕對(duì)路徑的方法,但是都沒有介紹完全,為此我也是走了幾個(gè)坑,特意在此說明一下。
通過Jsoup將相對(duì)路徑轉(zhuǎn)為絕對(duì)路徑的方法
如果想要通過 attr 方法獲取到絕對(duì)路徑,必須同時(shí)使用這兩個(gè)方法。
Document org.jsoup.Jsoup.parse(String html, String baseUri); String org.jsoup.nodes.Node.attr(String attributeKey);
必須使用Jsoup 帶有 baseUri 參數(shù)的重載方法,如果只是用具有第一個(gè)參數(shù)的 方法,那么通過attr取絕對(duì)路徑時(shí),獲取的內(nèi)容為空!這是一個(gè)坑,但是其它人的博客都沒有介紹這一點(diǎn)。
Parameters:
html HTML to parse
baseUri The URL where the HTML was
retrieved from. Used to resolve relative URLs to absolute URLs, that
occurbefore the HTML declares a <base href> tag.
這里列出參數(shù)的注釋,第一個(gè)參數(shù)是需要解析的html文檔,第二個(gè)參數(shù)是這個(gè)html的url。用于將相對(duì)url解析為絕對(duì)url,即在HTML聲明標(biāo)記之前發(fā)生。
注意: 這里的 baseUri 并不是網(wǎng)站的根路徑,它是指當(dāng)前的html路徑。即當(dāng)前相對(duì)路徑所在的html文檔的路徑,是相對(duì)路徑相對(duì)的那個(gè)路徑。 所以,如果填寫的是當(dāng)前根路徑,那么最后獲取的絕對(duì)路徑也是有問題的。(也許是可以使用的,但是格式可能有問題。) 下面第二點(diǎn),依賴于當(dāng)前這個(gè)給定的 baseUri 參數(shù)。
attr 方法里面的一句話:
To get an absolute URL from an attribute that may be a relative URL, prefix the key with abs,which is a shortcut to the absUrl method.
E.g.: String url = a.attr(“abs:href”);
這句話的意思是從一個(gè)相對(duì)路徑種獲取一個(gè)絕對(duì)路徑,使用 abs 前綴,這是absUrl方法的快捷方式。
并且給了一個(gè)示例:
String url = a.attr("abs:href");
所以,如果想要獲取到絕對(duì)路徑的話,需要在參數(shù)前面加上 abs:
。 這里 abs 就是 absolute 的縮寫,它的意思就是絕對(duì)的。
但是,如果不去使用帶有上面第一點(diǎn)提到的那個(gè)重載的 parse 方法的話,這種方法是取不到絕對(duì)路徑的,甚至是取不到路徑。我在這里踩了一個(gè)坑。
示例
這里以一個(gè)簡(jiǎn)單的例子說明: 代碼:
package ahnu.news; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; public class JsoupPathTest { public static void main(String[] args) { String html = "<html>" + "<head></head>" + "<body>" + "<a href=\"../dragon/love/you\"></a>" + "</body>" + "</html>"; System.out.println("正確的用法"); Document doc = Jsoup.parse(html, "http://example/index/loveyou/"); Element aTag = doc.getElementsByTag("a").first(); //獲取 a 標(biāo)簽,只有一個(gè),取第一個(gè)即可。 System.out.println(aTag); String relativePath = aTag.attr("href"); //獲取相對(duì)路徑 String absolutePath = aTag.attr("abs:href"); //獲取絕對(duì)路徑 System.out.println("相對(duì)路徑:" + relativePath); System.out.println("絕對(duì)路徑:" + absolutePath); System.out.println("---------------------分割線---------------------"); System.out.println("錯(cuò)誤的用法"); doc = Jsoup.parse(html); aTag = doc.getElementsByTag("a").first(); //獲取 a 標(biāo)簽,只有一個(gè),取第一個(gè)即可。 System.out.println(aTag); relativePath = aTag.attr("href"); //獲取相對(duì)路徑 absolutePath = aTag.attr("abs:href"); //獲取絕對(duì)路徑 System.out.println("相對(duì)路徑:" + relativePath); System.out.println("絕對(duì)路徑:" + absolutePath); } }
運(yùn)行結(jié)果:
注意: 1.在解析html的時(shí)候,必須添加 baseUri 參數(shù),否則獲取絕對(duì)路徑時(shí),反而什么都得不到,這是一個(gè)坑,注意防范。 2.希望其他人貼方法的時(shí)候,可以附帶代碼的執(zhí)行結(jié)果,或者如果是轉(zhuǎn)載的別人的博客,也可以運(yùn)行一下代碼,不然如果他錯(cuò)了,你也轉(zhuǎn)載,那就是在傳播錯(cuò)誤了。 3.英語(yǔ)還是很重要的,關(guān)鍵時(shí)候可以幫助自己理解api的正確用法。
到此這篇關(guān)于關(guān)于Jsoup將相對(duì)路徑轉(zhuǎn)為絕對(duì)路徑的方法的文章就介紹到這了,更多相關(guān)Jsoup獲取絕對(duì)路徑內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
解析Java中未被捕獲的異常以及try語(yǔ)句的嵌套使用
這篇文章主要介紹了Java中未被捕獲的異常以及try語(yǔ)句的嵌套使用,是Java入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-09-09Java中Thread和Runnable創(chuàng)建線程的方式對(duì)比
本文主要介紹了Java中Thread和Runnable創(chuàng)建線程的方式對(duì)比,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07Java的RocketMq水平擴(kuò)展及負(fù)載均衡詳解
這篇文章主要介紹了Java的RocketMq水平擴(kuò)展及負(fù)載均衡詳解,RocketMQ是一個(gè)分布式具有高度可擴(kuò)展性的消息中間件,本文旨在探索在broker端,生產(chǎn)端,以及消費(fèi)端是如何做到橫向擴(kuò)展以及負(fù)載均衡的,需要的朋友可以參考下2024-01-01