快捷導(dǎo)航

詳解nodejs爬蟲程序解決gbk等中文編碼問題

更新時間：2017年04月06日 10:40:17 作者：村中少年

本篇文章主要介紹了nodejs爬蟲程序解決gbk等中文編碼問題，解決了網(wǎng)頁的編碼與nodejs默認(rèn)編碼不一致造成的亂碼問題，有興趣的可以了解一下

使用nodejs寫了一個爬蟲的demo，目的是提取網(wǎng)頁的title部分。

遇到最大的問題就是網(wǎng)頁的編碼與nodejs默認(rèn)編碼不一致造成的亂碼問題。nodejs支持utf8, ucs2, ascii, binary, base64, hex等編碼方式，但是對于漢語言來說編碼主要分為三種，utf-8,gb2312,gbk。這里面gbk是完全兼容gb2312的，因此在處理編碼的時候主要就分為utf-8以及gbk兩大類。（這是在沒有考慮到其他國家的編碼情況，比如日本的Shift_JIS編碼等，同時這里這個iconv-lite模塊支持的編碼方法有限）。

首先說一下瀏覽器顯示網(wǎng)頁內(nèi)容的時候是如何處理編碼問題的。服務(wù)器和客戶端進(jìn)行通信，服務(wù)端將網(wǎng)頁按照指定的編碼方式（比如gbk）編碼成為二進(jìn)制碼流（即我們使用wireshark抓包看到額16進(jìn)制碼流）傳送給我們的客戶端?？蛻舳藙t會根據(jù)網(wǎng)頁源碼中所規(guī)定的編碼方式，由瀏覽器調(diào)用對應(yīng)的解碼器，將二進(jìn)制碼流解碼后顯示出來。而編碼方式通常在網(wǎng)頁中是如下內(nèi)容表示：

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/>

或者

<meta charset=utf-8"/>

如果客戶端是nodejs爬蟲請求程序，由于nodejs默認(rèn)的編碼方式是utf-8，因此爬蟲程序?qū)⒔邮盏降亩M(jìn)制碼流以字符串（默認(rèn)方式utf-8）顯示的時候則會顯示亂碼。這個時候需要將原始的二進(jìn)制碼流按照網(wǎng)頁原來的編碼方式解碼，則不會出現(xiàn)亂碼。

因此解決方法如下：

將接收到的網(wǎng)頁源碼以二進(jìn)制的方式存儲下來，處理二進(jìn)制數(shù)據(jù)流使用Buffer全局對象。

res.on('data', function(data) {

  htmlData.push(data);
  htmlDataLength += data.length;
 });
var bufferHtmlData = Buffer.concat(htmlData,htmlDataLength);

然后對這些二進(jìn)制的數(shù)據(jù)調(diào)用對應(yīng)的解碼程序。iconv-lite模塊用于解碼，cheerio模塊用于解析網(wǎng)頁內(nèi)容。

decodeHtmlData = iconv.decode(bufferHtmlData,'gbk');

var $ = cheerio.load(decodeHtmlData, {decodeEntities: false});

 $('title','head').each(function(i, e) {

  htmlHeadTitle = $(e).text();
  console.log(htmlHeadTitle);
 });

上述bufferHtmlData為二進(jìn)制碼流，decodeHtmlData為將二進(jìn)制碼流通過gbk編碼規(guī)則轉(zhuǎn)換為unicode編碼對應(yīng)的數(shù)字（即usc2字節(jié)流），然后在轉(zhuǎn)換為對應(yīng)的字符串。下述為iconv-lite源碼中解碼部分，地址在這里:

fromEncoding: function(buf) {
          buf = ensureBuffer(buf);
          var idx = 0, len = 0,
            newBuf = new Buffer(len*2),unicode,gbkcode;
          for (var i = 0, _len = buf.length; i < _len; i++, len++) {
            if (!!(buf[i] & 0x80)) {//the high bit is 1, so this byte is gbkcode's high byte.skip next byte
              i++;
            }
          }
          var newBuf = new Buffer(len*2);
          for (var i = 0, j = 0, _len = buf.length; i < _len; i++, j++) {
            var temp = buf[i], gbkcode, unicode;
            if (temp & 0x80) {
              gbkcode = (temp << 8) + buf[++i];
              unicode = table[gbkcode] || iconv.defaultCharUnicode.charCodeAt(0);//not found in table, replace with defaultCharUnicode
            }else {
              unicode = temp;
            }
            newBuf[j*2] = unicode & 0xFF;//low byte
            newBuf[j*2+1] = unicode >> 8;//high byte
          }
          return newBuf.toString('ucs2');
        }

可以看到最終返回的是newBuf.toString(‘ucs2')字符串。

爬蟲程序源碼如下：

var cheerio = require('cheerio');
var http = require('http');
var iconv = require('iconv-lite');
var htmlData = [];
var htmlDataLength = 0;
var count = 0;

http.globalAgent = 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1';
http.get('http://www.cr173.com', function(res) {

 res.on('data', function(data) {

  htmlData.push(data);
  htmlDataLength += data.length;
  count ++;
 });

 res.on('end',function(){

  callback(htmlData);
 });

});

function callback(htmlData){

 console.log(count);
 var bufferHtmlData = Buffer.concat(htmlData,htmlDataLength);
 var charset = '';
 var decodeHtmlData;
 var htmlHeadTitle = '';
 var htmlHeadCharset = '';
 var htmlHeadContent = '';
 var index = 0;

 var $ = cheerio.load(bufferHtmlData, {decodeEntities: false});

 $('meta','head').each(function(i, e) {

  htmlHeadCharset = $(e).attr('charset');
  htmlHeadContent = $(e).attr('content');

  if(typeof(htmlHeadCharset) != 'undefined'){

   charset = htmlHeadCharset;
  }

  if(typeof(htmlHeadContent) != 'undefined'){

   if(htmlHeadContent.match(/charset=/ig)){

    index = htmlHeadContent.indexOf('=');
    charset = htmlHeadContent.substring(index+1);
   }
  }
 });

 //此處為什么需要對整個網(wǎng)頁進(jìn)行轉(zhuǎn)嗎，是因為cheerio這個組件不能夠返回buffer,iconv則無法轉(zhuǎn)換之
 if(charset.match(/gb/ig)){

  decodeHtmlData = iconv.decode(bufferHtmlData,'gbk');
 }
 else{//因為有可能返回的網(wǎng)頁中不存在charset字段，因此默認(rèn)都是按照utf8進(jìn)行處理

  decodeHtmlData = iconv.decode(bufferHtmlData,'utf8');
 }

 var $ = cheerio.load(decodeHtmlData, {decodeEntities: false});

 $('title','head').each(function(i, e) {

  htmlHeadTitle = $(e).text();
  console.log(htmlHeadTitle);
 });

 console.log(charset);

}

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: