基于node.js實現爬蟲的講解
更新時間：2019年02月18日 16:49:09 作者：Inside_Zhang
今天小編就為大家分享一篇關于基于node.js實現爬蟲的講解，小編覺得內容挺不錯的，現在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
1. cheerio 與 request
- request：模擬客戶端行為，對頁面進行請求
- cheerio：對服務器端返回的頁面進行解析；
var cheerio = require('cheerio');
var request = require('request');
var startUrl = 'http://www.baidu.com'
request(startUrl, function(err, response) {
if (err) {
console.log(err);
}
var $ = cheerio.load(response.body);
var title = $('title').text();
console.log(title);
}
2. 認識 cheerio
獲取 element 位置
通過 class 屬性進行匹配：
var $=cheerio.load('<div class="container"></div>');
$('.container')
取其鏈接：<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>
$('a.downbtn').attr('href')
某一頁面下的全部可鏈接：
var url =
var $ = cheerio.load(data);
$("a.downbtn").each(function(i, e) {
console.log($(e).attr("href"));
});
console.log("done");
} else {
console.log("error");
}
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接
相關文章
本文是接上篇NodeJS制作爬蟲全過程，是最上文的一個補充以及優(yōu)化，給需要的小伙伴參考下2014-12-12
這篇文章主要介紹了使用Node.js配合Nginx實現高負載網絡,Node的異步加上Nginx的反向代理在性能上實在是給力!需要的朋友可以參考下2015-06-06
這篇文章主要為大家介紹了node文件資源管理器讀取視頻信息從零實現示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-12-12
這篇文章主要給大家介紹了利用gulp加上批處理(.bat)實現ng多應用一鍵自動化構建的相關資料，文中介紹的很詳細，需要的朋友可以參考借鑒，下面來一起看看吧。2017-02-02
很多時候我們需要遍歷我們的頁面來檢查頁面是否存在問題，以更好的保證可用性和安全性，下面就來講講如何使用puppeteer來實現頁面遍歷的功能吧2023-06-06
這篇文章主要介紹了微信小程序在線客服自動回復功能(基于node)，由于小程序嵌套webview時需要校驗域名，因此跳轉到第三方應用市場和Appstroe無法實現導流。那怎么辦呢,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了運行Node.js的IIS擴展iisnode安裝配置筆記,iisnode的擴展可以把Node.js程序托管到IIS,托管之后也意味著可以使用IIS里面的各種功能,需要的朋友可以參考下2015-03-03
node.js中的http.response.end方法使用說明
這篇文章主要介紹了node.js中的http.response.end方法使用說明,本文介紹了http.response.end的方法說明、語法、接收參數、使用實例和實現源碼,需要的朋友可以參考下2014-12-12
fs是filesystem的縮寫，該模塊提供本地文件的讀寫能力，基本上是POSIX文件操作命令的簡單包裝。這篇文章主要介紹了Node.js中的文件系統fs模塊的使用,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Windows上node.js的多版本管理工具用法,結合實例形式分析了Windows平臺上node.js多版本管理工具nvm-windows的相關使用技巧,需要的朋友可以參考下2019-11-11