Node.js爬取豆瓣數(shù)據(jù)實(shí)例分析
一直自以為自己vue還可以，一直自以為webpack還可以，今天在慕課逛node的時(shí)候，才發(fā)現(xiàn)，自己還差的很遠(yuǎn)。眾所周知，vue-cli基于webpack，而webpack基于node，對(duì)node不了解，談什么了解webpack。所以就自己給自己出了一道題，爬取豆瓣數(shù)據(jù)，目前還處于初級(jí)階段。今天就淺談爬取到豆瓣的數(shù)據(jù)，再另一個(gè)頁(yè)面用自己的方式展現(xiàn)，后續(xù)會(huì)跟進(jìn)。
1、需要解決的問(wèn)題
- 搭建服務(wù)
- 怎么處理爬到的數(shù)據(jù)
- 怎么自動(dòng)打開(kāi)默認(rèn)瀏覽器
2、搭建服務(wù)
搭建服務(wù)有好幾種方式，一開(kāi)始我用的http，但是http有個(gè)弊端就是不能解析https協(xié)議的url，所以就用了express，解析https協(xié)議的網(wǎng)址我用了request包，豆瓣的網(wǎng)址是https的，
今天爬取的是https://movie.douban.com/chart這個(gè)網(wǎng)址；如下圖，我要獲取的有三個(gè)部分，圖片、電影名字、電影鏈接.
3、怎么處理爬到的數(shù)據(jù)
我們用request爬到的數(shù)據(jù)，怎么處理呢？cheerio包可以讓我們像Jq那樣處理爬到的html數(shù)據(jù)。
①、首先解析數(shù)據(jù)，取到爬取網(wǎng)頁(yè)的html數(shù)據(jù)；
②、然后利用cheerio包操作爬到的數(shù)據(jù)，取到你想要的數(shù)據(jù)。
③、取到數(shù)據(jù)，創(chuàng)建html，輸出到頁(yè)面。如下圖，我用的字符串拼接，辦法有點(diǎn)笨，還沒(méi)有找到更好的辦法。
4、怎么自動(dòng)打開(kāi)默認(rèn)瀏覽器
不知道你有沒(méi)有看vue-cli中webpack的配置，自動(dòng)打開(kāi)瀏覽器，vue-cli用的opn包.
這個(gè)包用起來(lái)很方便，引入包，直接調(diào)用opn（url）即可；
5、展示
- Node.js實(shí)現(xiàn)爬取網(wǎng)站圖片的示例代碼
- 如何使用Node.js爬取任意網(wǎng)頁(yè)資源并輸出PDF文件到本地
- 手把手教你用Node.js爬蟲(chóng)爬取網(wǎng)站數(shù)據(jù)的方法
- 利用node.js寫(xiě)一個(gè)爬取知乎妹紙圖的小爬蟲(chóng)
- node.js爬蟲(chóng)爬取拉勾網(wǎng)職位信息
- 利用Node.js制作爬取大眾點(diǎn)評(píng)的爬蟲(chóng)
- Node.js環(huán)境下編寫(xiě)爬蟲(chóng)爬取維基百科內(nèi)容的實(shí)例分享
- 如何利用Node.js做簡(jiǎn)單的圖片爬取
相關(guān)文章
Node.js 進(jìn)程平滑離場(chǎng)剖析小結(jié)
這篇文章主要介紹了Node.js 進(jìn)程平滑離場(chǎng)剖析小結(jié)，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
利用node.js寫(xiě)一個(gè)爬取知乎妹紙圖的小爬蟲(chóng)
這篇文章主要給大家介紹了利用node.js寫(xiě)一個(gè)爬取知乎妹紙圖的小爬蟲(chóng)，文中給出了詳細(xì)的示例代碼和介紹，對(duì)大家具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友可以參考學(xué)習(xí)，下面來(lái)一起看看吧。2017-05-05
node.js文件系統(tǒng)之文件寫(xiě)入實(shí)例詳解
Node.js和其他語(yǔ)言一樣,也有文件操作,下面這篇文章主要給大家介紹了關(guān)于node.js文件系統(tǒng)之文件寫(xiě)入的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-03-03
完美解決node.js中使用https請(qǐng)求報(bào)CERT_UNTRUSTED的問(wèn)題
下面小編就為大家?guī)?lái)一篇完美解決node.js中使用https請(qǐng)求報(bào)CERT_UNTRUSTED的問(wèn)題。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-01-01
這篇文章主要給大家介紹了關(guān)于node.js增刪改查保姆級(jí)教程的相關(guān)資料,node.js接口可以實(shí)現(xiàn)增加、刪除、修改和查詢(xún)操作,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-07-07
Node.js使用MongoDB的ObjectId作為查詢(xún)條件的方法
這篇文章主要介紹了Node.js使用MongoDB的ObjectId作為查詢(xún)條件的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
Node.js中Bootstrap-table的兩種分頁(yè)的實(shí)現(xiàn)方法
這篇文章主要介紹了Node.js中Bootstrap-table的兩種分頁(yè)的使用方法,需要的朋友可以參考下2017-09-09
這篇文章主要介紹了node高并發(fā)原理機(jī)制,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-10-10
如何設(shè)置process.env.NODE_ENV生產(chǎn)環(huán)境模式
process.env.NODE_ENV默認(rèn)只有兩種狀態(tài)即development和production，本文主要介紹了process.env.NODE_ENV設(shè)置生產(chǎn)環(huán)境模式，感興趣的可以了解一下2021-09-09
詳解Node.js amqplib 連接 Rabbit MQ最佳實(shí)踐
這篇文章主要介紹了詳解Node.js amqplib 連接 Rabbit MQ最佳實(shí)踐，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-01-01