欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

crawler4j抓取頁(yè)面使用jsoup解析html時(shí)的解決方法

 更新時(shí)間：2014年04月08日 09:11:07   作者：  
crawler4j對(duì)response沒(méi)有指定編碼的頁(yè)面，解析成亂碼，很讓人煩惱,下面給出解決方法,需要的朋友可以參考下

crawler4j對(duì)已有編碼的頁(yè)面抓取效果不錯(cuò)，用jsoup解析，很多會(huì)jquery的程序員都可以操作。但是，crawler4j對(duì)response沒(méi)有指定編碼的頁(yè)面，解析成亂碼，很讓人煩惱。在找了苦悶之中，無(wú)意間發(fā)現(xiàn)一年代已久的博文，可以解決問(wèn)題，修改 Page.load() 中的 contentData 編碼即可，這讓我心中頓時(shí)舒坦了很多，接下來(lái)的問(wèn)題都引刃而解了。

復(fù)制代碼 代碼如下:

public void load(HttpEntity entity) throws Exception {
 contentType = null; 
    Header type = entity.getContentType(); 
    if (type != null) { 
        contentType = type.getValue(); 
    } 

    contentEncoding = null; 
    Header encoding = entity.getContentEncoding(); 
    if (encoding != null) { 
        contentEncoding = encoding.getValue(); 
    } 

    Charset charset = ContentType.getOrDefault(entity).getCharset(); 
    if (charset != null) { 
        contentCharset = charset.displayName();  
    }else{
     contentCharset = "utf-8";
    }

   //源碼
   //contentData = EntityUtils.toByteArray(entity); 
    //修改后的代碼
    contentData = EntityUtils.toString(entity, Charset.forName("gbk")).getBytes();

}

相關(guān)文章

  • java使用Logback配置輸出日志內(nèi)容到文件示例代碼

    java使用Logback配置輸出日志內(nèi)容到文件示例代碼

    這篇文章主要介紹了java?Logback輸出日志內(nèi)容到文件,要將logger.info的信息輸出到文件，您可以使用Logback配置，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下
    2023-09-09
  • 使用idea插件進(jìn)行java代碼生成的操作

    使用idea插件進(jìn)行java代碼生成的操作

    這篇文章主要介紹了使用idea插件進(jìn)行java代碼生成的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-10-10
  • Java超詳細(xì)講解類變量和類方法

    Java超詳細(xì)講解類變量和類方法

    這篇文章主要介紹了JAVA類變量及類方法代碼實(shí)例詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2022-05-05
  • Ajax實(shí)現(xiàn)搜索引擎自動(dòng)補(bǔ)全功能

    Ajax實(shí)現(xiàn)搜索引擎自動(dòng)補(bǔ)全功能

    本文主要介紹了Ajax實(shí)現(xiàn)搜索引擎自動(dòng)補(bǔ)全功能的實(shí)例解析。具有很好的參考價(jià)值。下面跟著小編一起來(lái)看下吧
    2017-04-04
  • Java實(shí)現(xiàn)的猴子吃桃問(wèn)題算法示例

    Java實(shí)現(xiàn)的猴子吃桃問(wèn)題算法示例

    這篇文章主要介紹了Java實(shí)現(xiàn)的猴子吃桃問(wèn)題算法,簡(jiǎn)單描述了猴子吃桃問(wèn)題并結(jié)合實(shí)例形式給出了java解決猴子吃桃問(wèn)題的具體實(shí)現(xiàn)技巧,需要的朋友可以參考下
    2017-10-10
  • 詳解mybatis-plus實(shí)體類中字段和數(shù)據(jù)庫(kù)中字段名不對(duì)應(yīng)解決辦法

    詳解mybatis-plus實(shí)體類中字段和數(shù)據(jù)庫(kù)中字段名不對(duì)應(yīng)解決辦法

    這篇文章主要介紹了詳解mybatis-plus實(shí)體類中字段和數(shù)據(jù)庫(kù)中字段名不對(duì)應(yīng)解決辦法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-03-03
  • Javaweb使用Maven工具與Tomcat的方法詳解

    Javaweb使用Maven工具與Tomcat的方法詳解

    這篇文章主要為大家詳細(xì)介紹了Javaweb使用Maven工具與Tomcat的方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助
    2022-03-03
  • Mybatis Trim標(biāo)簽用法簡(jiǎn)單介紹

    Mybatis Trim標(biāo)簽用法簡(jiǎn)單介紹

    這篇文章主要介紹了Mybatis Trim標(biāo)簽用法,非常不錯(cuò)，具有參考借鑒價(jià)值,需要的朋友可以參考下
    2017-05-05
  • 基于Hutool的圖片驗(yàn)證碼功能模塊實(shí)現(xiàn)

    基于Hutool的圖片驗(yàn)證碼功能模塊實(shí)現(xiàn)

    為了提高系統(tǒng)的安全性，防止接口被暴力刷新，驗(yàn)證碼是個(gè)好的手段，圖片驗(yàn)證碼沒(méi)有短信驗(yàn)證碼的費(fèi)用，其是個(gè)人開發(fā)者學(xué)習(xí)的重點(diǎn)，這篇文章主要介紹了基于Hutool的圖片驗(yàn)證碼功能模塊實(shí)現(xiàn),需要的朋友可以參考下
    2022-10-10
  • Spring Boot + Vue 前后端分離開發(fā)之前端網(wǎng)絡(luò)請(qǐng)求封裝與配置

    Spring Boot + Vue 前后端分離開發(fā)之前端網(wǎng)絡(luò)請(qǐng)求封裝與配置

    這篇文章主要介紹了Spring Boot + Vue 前后端分離開發(fā)之前端網(wǎng)絡(luò)請(qǐng)求封裝與配置方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下
    2019-05-05

最新評(píng)論