基于node.js實(shí)現(xiàn)爬蟲的講解
1. cheerio 與 request
- request:模擬客戶端行為,對(duì)頁(yè)面進(jìn)行請(qǐng)求
- cheerio:對(duì)服務(wù)器端返回的頁(yè)面進(jìn)行解析;
var cheerio = require('cheerio'); var request = require('request'); var startUrl = 'http://www.baidu.com' request(startUrl, function(err, response) { if (err) { console.log(err); } var $ = cheerio.load(response.body); var title = $('title').text(); console.log(title); }
2. 認(rèn)識(shí) cheerio
獲取 element 位置
通過(guò) class 屬性進(jìn)行匹配:
var $=cheerio.load('<div class="container"></div>'); $('.container')
取其鏈接:<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>
$('a.downbtn').attr('href')
某一頁(yè)面下的全部可鏈接:
var url = var $ = cheerio.load(data); $("a.downbtn").each(function(i, e) { console.log($(e).attr("href")); }); console.log("done"); } else { console.log("error"); }
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
- node.js實(shí)現(xiàn)簡(jiǎn)單爬蟲示例詳解
- node.js做一個(gè)簡(jiǎn)單的爬蟲案例教程
- node.js爬蟲框架node-crawler初體驗(yàn)
- Node.js爬蟲如何獲取天氣和每日問(wèn)候詳解
- node.js學(xué)習(xí)筆記之koa框架和簡(jiǎn)單爬蟲練習(xí)
- 淺談Node.js爬蟲之網(wǎng)頁(yè)請(qǐng)求模塊
- 使用 Node.js 開發(fā)資訊爬蟲流程
- 基于node.js制作簡(jiǎn)單爬蟲教程
- 利用node.js寫一個(gè)爬取知乎妹紙圖的小爬蟲
- node.js爬蟲爬取拉勾網(wǎng)職位信息
- Node.js?實(shí)現(xiàn)簡(jiǎn)單爬蟲的示例代碼
相關(guān)文章
使用Node.js配合Nginx實(shí)現(xiàn)高負(fù)載網(wǎng)絡(luò)
這篇文章主要介紹了使用Node.js配合Nginx實(shí)現(xiàn)高負(fù)載網(wǎng)絡(luò),Node的異步加上Nginx的反向代理在性能上實(shí)在是給力!需要的朋友可以參考下2015-06-06node文件資源管理器讀取視頻信息從零實(shí)現(xiàn)
這篇文章主要為大家介紹了node文件資源管理器讀取視頻信息從零實(shí)現(xiàn)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12gulp加批處理(.bat)實(shí)現(xiàn)ng多應(yīng)用一鍵自動(dòng)化構(gòu)建
這篇文章主要給大家介紹了利用gulp加上批處理(.bat)實(shí)現(xiàn)ng多應(yīng)用一鍵自動(dòng)化構(gòu)建的相關(guān)資料,文中介紹的很詳細(xì),需要的朋友可以參考借鑒,下面來(lái)一起看看吧。2017-02-02使用Puppeteer實(shí)現(xiàn)頁(yè)面遍歷的示例代碼
很多時(shí)候我們需要遍歷我們的頁(yè)面來(lái)檢查頁(yè)面是否存在問(wèn)題,以更好的保證可用性和安全性,下面就來(lái)講講如何使用puppeteer來(lái)實(shí)現(xiàn)頁(yè)面遍歷的功能吧2023-06-06微信小程序在線客服自動(dòng)回復(fù)功能(基于node)
這篇文章主要介紹了微信小程序在線客服自動(dòng)回復(fù)功能(基于node),由于小程序嵌套webview時(shí)需要校驗(yàn)域名,因此跳轉(zhuǎn)到第三方應(yīng)用市場(chǎng)和Appstroe無(wú)法實(shí)現(xiàn)導(dǎo)流。那怎么辦呢,需要的朋友可以參考下2019-07-07運(yùn)行Node.js的IIS擴(kuò)展iisnode安裝配置筆記
這篇文章主要介紹了運(yùn)行Node.js的IIS擴(kuò)展iisnode安裝配置筆記,iisnode的擴(kuò)展可以把Node.js程序托管到IIS,托管之后也意味著可以使用IIS里面的各種功能,需要的朋友可以參考下2015-03-03node.js中的http.response.end方法使用說(shuō)明
這篇文章主要介紹了node.js中的http.response.end方法使用說(shuō)明,本文介紹了http.response.end的方法說(shuō)明、語(yǔ)法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12Node.js中文件系統(tǒng)fs模塊的使用及常用接口
fs是filesystem的縮寫,該模塊提供本地文件的讀寫能力,基本上是POSIX文件操作命令的簡(jiǎn)單包裝。這篇文章主要介紹了Node.js中的文件系統(tǒng)fs模塊的使用,需要的朋友可以參考下2020-03-03Windows上node.js的多版本管理工具用法實(shí)例分析
這篇文章主要介紹了Windows上node.js的多版本管理工具用法,結(jié)合實(shí)例形式分析了Windows平臺(tái)上node.js多版本管理工具nvm-windows的相關(guān)使用技巧,需要的朋友可以參考下2019-11-11