node.js爬蟲(chóng)爬取拉勾網(wǎng)職位信息
簡(jiǎn)介
用node.js寫(xiě)了一個(gè)簡(jiǎn)單的小爬蟲(chóng)，用來(lái)爬取拉勾網(wǎng)上的招聘信息，共爬取了北京、上海、廣州、深圳、杭州、西安、成都7個(gè)城市的數(shù)據(jù)，分別以前端、PHP、java、c++、python、Android、ios作為關(guān)鍵詞進(jìn)行爬取，爬到的數(shù)據(jù)以json格式儲(chǔ)存到本地，為了方便觀察，我將數(shù)據(jù)整理了一下供大家參考
數(shù)據(jù)結(jié)果
上述數(shù)據(jù)為3月13日22時(shí)爬取的數(shù)據(jù)，可大致反映各個(gè)城市對(duì)不同語(yǔ)言的需求量。
爬取過(guò)程展示
控制并發(fā)進(jìn)行爬取
爬取到的數(shù)據(jù)文件
json數(shù)據(jù)文件
爬蟲(chóng)程序
實(shí)現(xiàn)思路
請(qǐng)求拉鉤網(wǎng)的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=關(guān)鍵詞&pn=頁(yè)數(shù)”可以返回一個(gè)json格式的數(shù)據(jù)，該數(shù)據(jù)包含所要請(qǐng)求職位的信息，省去了使用chreio解析的麻煩，所以直接用superagent來(lái)進(jìn)行請(qǐng)求上述地址，并將數(shù)據(jù)儲(chǔ)存在本地即可，其中參數(shù)city是為城市，kd為所要搜索的關(guān)鍵詞，pn為要請(qǐng)求的頁(yè)數(shù)，當(dāng)中使用到了async來(lái)控制異步流程，使得并發(fā)數(shù)不超過(guò)3，防止被封ip。
代碼地址及使用
github：https://github.com/zsqosos/positionAnalysis
代碼請(qǐng)?jiān)趃ithub上查看，使用該程序需要安裝node環(huán)境，如果覺(jué)得還不錯(cuò)的話(huà)煩請(qǐng)給個(gè)star，歡迎大家修改使用該程序。
以上就是本文的全部?jī)?nèi)容，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，同時(shí)也希望多多支持腳本之家！
- node.js實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)示例詳解
- node.js做一個(gè)簡(jiǎn)單的爬蟲(chóng)案例教程
- node.js爬蟲(chóng)框架node-crawler初體驗(yàn)
- Node.js爬蟲(chóng)如何獲取天氣和每日問(wèn)候詳解
- 基于node.js實(shí)現(xiàn)爬蟲(chóng)的講解
- node.js學(xué)習(xí)筆記之koa框架和簡(jiǎn)單爬蟲(chóng)練習(xí)
- 淺談Node.js爬蟲(chóng)之網(wǎng)頁(yè)請(qǐng)求模塊
- 使用 Node.js 開(kāi)發(fā)資訊爬蟲(chóng)流程
- 基于node.js制作簡(jiǎn)單爬蟲(chóng)教程
- 利用node.js寫(xiě)一個(gè)爬取知乎妹紙圖的小爬蟲(chóng)
- Node.js?實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)的示例代碼
相關(guān)文章
利用express啟動(dòng)一個(gè)server服務(wù)的方法
下面小編就為大家?guī)?lái)一篇利用express啟動(dòng)一個(gè)server服務(wù)的方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-09-09
如果你覺(jué)得npm比較慢,又不想用yarn,那么pnpm是一個(gè)很好的選擇,下面這篇文章主要給大家介紹了關(guān)于pnpm的安裝和使用的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-05-05
詳解利用nodejs對(duì)本地json文件進(jìn)行增刪改查
這篇文章主要介紹了詳解利用nodejs對(duì)本地json文件進(jìn)行增刪改查，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
前端必會(huì)的nodejs知識(shí)工具模塊使用示例詳解
這篇文章主要為大家介紹了前端必會(huì)的nodejs知識(shí)工具模塊使用示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-10-10
Node.js是一個(gè)JavaScript運(yùn)行環(huán)境,可以使JavaScript這類(lèi)腳本語(yǔ)言編寫(xiě)出來(lái)的代碼運(yùn)行速度獲得極大提升,下面這篇文章主要給大家介紹了關(guān)于Node.js卸載與重裝及zip與msi安裝的相關(guān)資料,需要的朋友可以參考下2023-01-01
這篇文章主要介紹了Mac 安裝 nodejs方法（圖文詳細(xì)步驟），小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-10-10
NodeJS收發(fā)GET和POST請(qǐng)求的示例代碼
本篇文章主要介紹了NodeJS收發(fā)GET和POST請(qǐng)求的示例代碼，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-08-08
Nodejs下用submit提交表單提示cannot post錯(cuò)誤的解決方法
這篇文章主要介紹了Nodejs下用submit提交表單提示cannot post錯(cuò)誤的解決方法,非常不錯(cuò)，具有參考借鑒價(jià)值，感興趣的朋友一起看看吧2016-11-11
node的process以及child_process模塊學(xué)習(xí)筆記
這篇文章主要介紹了node的process以及child_process模塊學(xué)習(xí)筆記，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-03-03
nodejs+express實(shí)現(xiàn)文件上傳下載管理網(wǎng)站
這篇文章主要為大家詳細(xì)介紹了nodejs+express實(shí)現(xiàn)文件上傳下載管理的網(wǎng)站，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-03-03