欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

nodeJs爬蟲的技術(shù)點(diǎn)總結(jié)

 更新時(shí)間：2018年05月13日 14:11:50   作者：紫日殘?jiān)? 
本篇文章給大家總結(jié)了關(guān)于nodeJs爬蟲的技術(shù)點(diǎn)的相關(guān)知識(shí)，對(duì)爬蟲有興趣的朋友可以跟著學(xué)習(xí)參考下。

背景

最近打算把之前看過(guò)的nodeJs相關(guān)的內(nèi)容在復(fù)習(xí)下，順便寫幾個(gè)爬蟲來(lái)打發(fā)無(wú)聊，在爬的過(guò)程中發(fā)現(xiàn)一些問(wèn)題，記錄下以便備忘。

依賴

用到的是在網(wǎng)上爛大街的cheerio庫(kù)來(lái)處理爬取的內(nèi)容，使用superagent處理請(qǐng)求，log4js來(lái)記錄日志。

日志配置

話不多說(shuō)，直接上代碼：

const log4js = require('log4js');

log4js.configure({
 appenders: {
  cheese: {
   type: 'dateFile',
   filename: 'cheese.log',
   pattern: '-yyyy-MM-dd.log',
   // 包含模型
   alwaysIncludePattern: true,

   maxLogSize: 1024,
   backups: 3 }
 },
 categories: { default: { appenders: ['cheese'], level: 'info' } }
});

const logger = log4js.getLogger('cheese');
logger.level = 'INFO';

module.exports = logger;

以上直接導(dǎo)出一個(gè)logger對(duì)象，在業(yè)務(wù)文件里直接調(diào)用logger.info()等函數(shù)添加日志信息就可以，會(huì)按天生成日志。相關(guān)信息網(wǎng)絡(luò)上一堆。

爬取內(nèi)容并處理

 superagent.get(cityItemUrl).end((err, res) => {
  if (err) {
   return console.error(err);
  }

  const $ = cheerio.load(res.text);
  // 解析當(dāng)前頁(yè)面,獲取當(dāng)前頁(yè)面的城市鏈接地址
  const cityInfoEle = $('.newslist1 li a');
  cityInfoEle.each((idx, element) => {
   const $element = $(element);
   const sceneURL = $element.attr('href'); // 頁(yè)面地址
   const sceneName = $element.attr('title'); // 城市名稱
   if (!sceneName) {
    return;
   }
   logger.info(`當(dāng)前解析到的目的地是: ${sceneName}, 對(duì)應(yīng)的地址為: ${sceneURL}`);

   getDesInfos(sceneURL, sceneName); // 獲取城市詳細(xì)信息

   ep.after('getDirInfoComplete', cityInfoEle.length, (dirInfos) => {
    const content = JSON.parse(fs.readFileSync(path.join(__dirname, './imgs.json')));

    dirInfos.forEach((element) => {
     logger.info(`本條數(shù)據(jù)為:${JSON.stringify(element)}`);
     Object.assign(content, element);
    });

    fs.writeFileSync(path.join(__dirname, './imgs.json'), JSON.stringify(content));
   });
  });
 });

使用superagent請(qǐng)求頁(yè)面，請(qǐng)求成功后使用cheerio 來(lái)加載頁(yè)面內(nèi)容，然后使用類似Jquery的匹配規(guī)則來(lái)查找目的資源。

多個(gè)資源加載完成，使用eventproxy來(lái)代理事件，處理一次資源處罰一次事件，所有事件觸發(fā)完成后處理數(shù)據(jù)。

以上就是最基本的爬蟲了，接下來(lái)就是一些可能會(huì)出問(wèn)題或者需要特別注意的地方了。。。

讀寫本地文件

創(chuàng)建文件夾

function mkdirSync(dirname) {
 if (fs.existsSync(dirname)) {
  return true;
 }
 if (mkdirSync(path.dirname(dirname))) {
  fs.mkdirSync(dirname);
  return true;
 }

 return false;
}

讀寫文件

   const content = JSON.parse(fs.readFileSync(path.join(__dirname, './dir.json')));

   dirInfos.forEach((element) => {
    logger.info(`本條數(shù)據(jù)為:${JSON.stringify(element)}`);
    Object.assign(content, element);
   });

   fs.writeFileSync(path.join(__dirname, './dir.json'), JSON.stringify(content));

批量下載資源

下載資源可能包括圖片、音頻等等。

使用Bagpipe處理異步并發(fā) 參考

const Bagpipe = require('bagpipe');

const bagpipe = new Bagpipe(10);

  bagpipe.push(downloadImage, url, dstpath, (err, data) => {
   if (err) {
    console.log(err);
    return;
   }
   console.log(`[${dstpath}]: ${data}`);
  });

下載資源，使用stream來(lái)完成文件寫入。

function downloadImage(src, dest, callback) {
 request.head(src, (err, res, body) => {
  if (src && src.indexOf('http') > -1 || src.indexOf('https') > -1) {
   request(src).pipe(fs.createWriteStream(dest)).on('close', () => {
    callback(null, dest);
   });
  }
 });
}

編碼

有時(shí)候直接使用 cheerio.load處理的網(wǎng)頁(yè)內(nèi)容，寫入文件后發(fā)現(xiàn)是編碼后的文字，可以通過(guò)

const $ = cheerio.load(buf, { decodeEntities: false });

來(lái)禁止編碼，

ps: encoding庫(kù)和iconv-lite未能實(shí)現(xiàn)將utf-8編碼的字符轉(zhuǎn)換為中文，可能是還對(duì)API不熟悉，稍后可以關(guān)注下。

最后，附上一個(gè)匹配所有dom標(biāo)簽的正則

const reg = /<.*?>/g;

相關(guān)文章

  • websocket+node.js實(shí)現(xiàn)實(shí)時(shí)聊天系統(tǒng)問(wèn)題咨詢

    websocket+node.js實(shí)現(xiàn)實(shí)時(shí)聊天系統(tǒng)問(wèn)題咨詢

    最近新學(xué)習(xí)websocket，做了一個(gè)實(shí)時(shí)聊天。用Node.js搭建的服務(wù):serevr.js. 兩個(gè)相互通信頁(yè)面：client.html 和server.html 但是就是有很多問(wèn)題，下面通過(guò)本文給大家分享下
    2017-05-05
  • Node.js中path模塊操作路徑的基本使用

    Node.js中path模塊操作路徑的基本使用

    這篇文章主要介紹了Node.js中path模塊操作路徑的基本使用,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2023-08-08
  • node的proxy-server使用詳解

    node的proxy-server使用詳解

    本文主要介紹了node的proxy-server使用詳解,主要介紹代理服務(wù)器的API基本使用流程和思路,以及代理服務(wù)器實(shí)例的API基本使用流程和思路,感興趣的可以了解一下
    2023-12-12
  • socket.io學(xué)習(xí)教程之基本應(yīng)用（二）

    socket.io學(xué)習(xí)教程之基本應(yīng)用（二）

    socket.io提供了基于事件的實(shí)時(shí)雙向通訊，下面這篇文章主要給大家介紹了socket.io基本應(yīng)用的相關(guān)資料，對(duì)大家具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起看看吧。
    2017-04-04
  • Mac node刪除以及重新安裝案例詳解

    Mac node刪除以及重新安裝案例詳解

    這篇文章主要介紹了Mac node刪除以及重新安裝案例詳解,本篇文章通過(guò)簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下
    2021-09-09
  • node使用async_hooks模塊進(jìn)行請(qǐng)求追蹤

    node使用async_hooks模塊進(jìn)行請(qǐng)求追蹤

    這篇文章主要介紹了node使用async_hooks模塊進(jìn)行請(qǐng)求追蹤，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01
  • 詳解node+express+ejs+bootstrap構(gòu)建項(xiàng)目

    詳解node+express+ejs+bootstrap構(gòu)建項(xiàng)目

    本篇文章主要介紹了詳解node+express+ejs+bootstrap構(gòu)建項(xiàng)目，非常具有實(shí)用價(jià)值，需要的朋友可以參考下
    2017-09-09
  • nodejs語(yǔ)言實(shí)現(xiàn)驗(yàn)證碼生成功能的示例代碼

    nodejs語(yǔ)言實(shí)現(xiàn)驗(yàn)證碼生成功能的示例代碼

    這篇文章主要介紹了nodejs語(yǔ)言實(shí)現(xiàn)驗(yàn)證碼生成功能的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-10-10
  • Node.js之如何構(gòu)建UDP服務(wù)

    Node.js之如何構(gòu)建UDP服務(wù)

    這篇文章主要介紹了Node.js之如何構(gòu)建UDP服務(wù)問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-09-09
  • nodejs使用socket5進(jìn)行代理請(qǐng)求的實(shí)現(xiàn)

    nodejs使用socket5進(jìn)行代理請(qǐng)求的實(shí)現(xiàn)

    這篇文章主要介紹了nodejs使用socket5進(jìn)行代理請(qǐng)求的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-02-02

最新評(píng)論