欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

nodejs爬蟲初試superagent和cheerio

 更新時(shí)間:2018年03月05日 09:26:17   作者:Shapeying  
這篇文章主要介紹了nodejs爬蟲初試superagent和cheerio的相關(guān)知識(shí),非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下

前言

  早就聽過爬蟲,這幾天開始學(xué)習(xí)nodejs,寫了個(gè)爬蟲https://github.com/leichangchun/node-crawlers/tree/master/superagent_cheerio_demo,爬取 博客園首頁(yè)的文章標(biāo)題、用戶名、閱讀數(shù)、推薦數(shù)和用戶頭像,現(xiàn)做個(gè)小總結(jié)。

  使用到這幾個(gè)點(diǎn):

  1、node的核心模塊-- 文件系統(tǒng)

  2、用于http請(qǐng)求的第三方模塊 -- superagent

  3、用于解析DOM的第三方模塊 -- cheerio

  幾個(gè)模塊詳細(xì)的講解及API請(qǐng)到各個(gè)鏈接查閱,demo中只有簡(jiǎn)單的用法。

準(zhǔn)備工作

  使用npm管理依賴,依賴信息會(huì)存放在package.json中

//安裝用到的第三方模塊
cnpm install --save superagent cheerio

  引入所需要用到的功能模塊

//引入第三方模塊,superagent用于http請(qǐng)求,cheerio用于解析DOM
const request = require('superagent');
const cheerio = require('cheerio');
const fs = require('fs');

請(qǐng)求 + 解析頁(yè)面

  想要爬到博客園首頁(yè)的內(nèi)容,首先要請(qǐng)求首頁(yè)地址,拿到返回的html,這里使用superagent進(jìn)行http請(qǐng)求,基本的使用方法如下:

request.get(url)
      .end(error,res){
      //do something     
}    

  向指定的url發(fā)起get請(qǐng)求,請(qǐng)求錯(cuò)誤時(shí),會(huì)有error返回(沒有錯(cuò)誤時(shí),error為null或undefined),res為返回的數(shù)據(jù)。

  拿到html內(nèi)容后,要拿到我們想要的數(shù)據(jù),這個(gè)時(shí)候就需要用cheerio解析DOM了,cheerio要先load目標(biāo)html,然后再進(jìn)行解析,API和jquery的API非常類似,熟悉jquery上手非???。直接看代碼實(shí)例

//目標(biāo)鏈接 博客園首頁(yè)
let targetUrl = 'https://www.cnblogs.com/';
//用來(lái)暫時(shí)保存解析到的內(nèi)容和圖片地址數(shù)據(jù)
let content = '';
let imgs = [];
//發(fā)起請(qǐng)求
request.get(targetUrl)
    .end( (error,res) => {
      if(error){ //請(qǐng)求出錯(cuò),打印錯(cuò)誤,返回
        console.log(error)
        return;
      }
      // cheerio需要先load html
      let $ = cheerio.load(res.text);
      //抓取需要的數(shù)據(jù),each為cheerio提供的方法用來(lái)遍歷
      $('#post_list .post_item').each( (index,element) => {
        //分析所需要的數(shù)據(jù)的DOM結(jié)構(gòu)
        //通過選擇器定位到目標(biāo)元素,再獲取到數(shù)據(jù)
        let temp = {
          '標(biāo)題' : $(element).find('h3 a').text(),
          '作者' : $(element).find('.post_item_foot > a').text(),
          '閱讀數(shù)' : +$(element).find('.article_view a').text().slice(3,-2),
          '推薦數(shù)' : +$(element).find('.diggnum').text()
        }
        //拼接數(shù)據(jù)
        content += JSON.stringify(temp) + '\n';
        //同樣的方式獲取圖片地址
        if($(element).find('img.pfs').length > 0){
          imgs.push($(element).find('img.pfs').attr('src'));
        }
      });
      //存放數(shù)據(jù)
      mkdir('./content',saveContent);
      mkdir('./imgs',downloadImg);
    })

存儲(chǔ)數(shù)據(jù)

  上面解析DOM之后,已經(jīng)拼接了所需要的信息內(nèi)容,也拿到了圖片的URL,現(xiàn)在就進(jìn)行存儲(chǔ),把內(nèi)容存放到指定目錄的txt文件中,而且下載圖片到指定目錄

  先創(chuàng)建目錄,使用nodejs核心的文件系統(tǒng)

//創(chuàng)建目錄
function mkdir(_path,callback){
  if(fs.existsSync(_path)){
    console.log(`${_path}目錄已存在`)
  }else{
    fs.mkdir(_path,(error)=>{
      if(error){
        return console.log(`創(chuàng)建${_path}目錄失敗`);
      }
      console.log(`創(chuàng)建${_path}目錄成功`)
    })
  }
  callback(); //沒有生成指定目錄不會(huì)執(zhí)行
}

  有了指定目錄之后,可以寫入數(shù)據(jù)了,txt文件的內(nèi)容已經(jīng)有了,直接寫入就可以了使用writeFile()

//將文字內(nèi)容存入txt文件中
function saveContent() {
  fs.writeFile('./content/content.txt',content.toString());
}

  取到了圖片的鏈接,所以需要再使用superagent下載圖片,存在本地。superagent可以直接返回一個(gè)響應(yīng)流,再配合nodejs的管道,直接把圖片內(nèi)容寫到本地

//下載爬到的圖片
function downloadImg() {
  imgs.forEach((imgUrl,index) => {
    //獲取圖片名 
    let imgName = imgUrl.split('/').pop();

    //下載圖片存放到指定目錄
    let stream = fs.createWriteStream(`./imgs/${imgName}`);
    let req = request.get('https:' + imgUrl); //響應(yīng)流
    req.pipe(stream);
    console.log(`開始下載圖片 https:${imgUrl} --> ./imgs/${imgName}`);     
  } )
}

效果  

  執(zhí)行下demo,看下效果,數(shù)據(jù)已經(jīng)正常爬下來(lái)了

   非常簡(jiǎn)單的一個(gè)demo,可能也沒有那么嚴(yán)謹(jǐn),不過總是走出了node的第一小步。

總結(jié)

以上所述是小編給大家介紹的nodejs爬蟲初試superagent和cheerio,希望對(duì)大家有所幫助,如果大家有任何疑問請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!

相關(guān)文章

  • 使用Node.js寫一個(gè)代碼生成器的方法步驟

    使用Node.js寫一個(gè)代碼生成器的方法步驟

    這篇文章主要介紹了使用 Node.js 寫一個(gè)代碼生成器,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧
    2019-05-05
  • express框架,報(bào)錯(cuò):“Cannot set headers after they are sent to the client”,解決方法總結(jié)

    express框架,報(bào)錯(cuò):“Cannot set headers after t

    這篇文章主要介紹了express框架,報(bào)錯(cuò):“Cannot set headers after they are sent to the client”,解決方法,結(jié)合實(shí)例形式總結(jié)分析了常見的問題原因與對(duì)應(yīng)的解決方案,需要的朋友可以參考下
    2023-05-05
  • Express 框架中使用 EJS 模板引擎并結(jié)合 silly-datetime 庫(kù)進(jìn)行日期格式化的實(shí)現(xiàn)方法

    Express 框架中使用 EJS 模板引擎并結(jié)合 silly-datetime

    這篇文章主要介紹了Express 框架中使用 EJS 模板引擎并結(jié)合 silly-datetime 庫(kù)進(jìn)行日期格式化的實(shí)現(xiàn)方法,結(jié)合具體實(shí)例形式分析了express框架引入EJS模版以及導(dǎo)入 silly-datetime 庫(kù)的格式化方法傳遞給EJS模版使用的相關(guān)操作技巧,需要的朋友可以參考下
    2023-05-05
  • Node.js學(xué)習(xí)之TCP/IP數(shù)據(jù)通訊(實(shí)例講解)

    Node.js學(xué)習(xí)之TCP/IP數(shù)據(jù)通訊(實(shí)例講解)

    下面小編就為大家?guī)?lái)一篇Node.js學(xué)習(xí)之TCP/IP數(shù)據(jù)通訊(實(shí)例講解)。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧
    2017-10-10
  • node.js如何操作MySQL數(shù)據(jù)庫(kù)

    node.js如何操作MySQL數(shù)據(jù)庫(kù)

    這篇文章主要介紹了node.js如何操作MySQL數(shù)據(jù)庫(kù),幫助大家更好的進(jìn)行web開發(fā),感興趣的朋友可以了解下
    2020-10-10
  • Nodejs異步流程框架async的方法

    Nodejs異步流程框架async的方法

    這篇文章主要介紹了Nodejs異步流程框架async的方法,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧
    2019-06-06
  • Mac中安裝nvm的教程分享

    Mac中安裝nvm的教程分享

    下面小編就為大家分享一篇Mac中安裝nvm的教程,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧
    2017-12-12
  • Nodejs下使用gm圓形裁剪并合成圖片的示例

    Nodejs下使用gm圓形裁剪并合成圖片的示例

    本篇文章主要介紹了Nodejs下使用gm圓形裁剪并合成圖片的示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧
    2018-02-02
  • Sequelize中用group by進(jìn)行分組聚合查詢

    Sequelize中用group by進(jìn)行分組聚合查詢

    大家都知道在SQL查詢中,分組查詢是較常用的一種查詢方式。分組查詢是指通過GROUP BY關(guān)鍵字,將查詢結(jié)果按照一個(gè)或多個(gè)字段進(jìn)行分組,分組時(shí)字段值相同的會(huì)被分為一組。在Node.js基于Sequelize的ORM框架中,同樣支持分組查詢,使用非常簡(jiǎn)單方便。下面來(lái)看看詳細(xì)的介紹。
    2016-12-12
  • node.js中的http.response.writeHead方法使用說明

    node.js中的http.response.writeHead方法使用說明

    這篇文章主要介紹了node.js中的http.response.writeHead方法使用說明,本文介紹了http.response.writeHead的方法說明、語(yǔ)法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下
    2014-12-12

最新評(píng)論