欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

使用 Node.js 開發(fā)資訊爬蟲流程

 更新時(shí)間：2018年01月07日 10:24:08   投稿：mrr  
這篇文章主要介紹了使用 Node.js 開發(fā)資訊爬蟲流程,爬蟲流程概括下來就是把目標(biāo)網(wǎng)站的HTML下載到本地再進(jìn)行數(shù)據(jù)提取。具體內(nèi)容詳情大家參考下本文

最近項(xiàng)目需要一些資訊，因?yàn)轫?xiàng)目是用 Node.js 來寫的，所以就自然地用 Node.js 來寫爬蟲了

項(xiàng)目地址：github.com/mrtanweijie… ，項(xiàng)目里面爬取了 Readhub 、 開源中國 、 開發(fā)者頭條 、 36Kr 這幾個(gè)網(wǎng)站的資訊內(nèi)容，暫時(shí)沒有對多頁面進(jìn)行處理，因?yàn)槊刻炫老x都會(huì)跑一次，現(xiàn)在每次獲取到最新的就可以滿足需求了，后期再進(jìn)行完善

爬蟲流程概括下來就是把目標(biāo)網(wǎng)站的HTML下載到本地再進(jìn)行數(shù)據(jù)提取。

一、下載頁面

Node.js 有很多http請求庫，這里使用 request ，主要代碼如下： 

requestDownloadHTML () {
 const options = {
  url: this.url,
  headers: {
  'User-Agent': this.randomUserAgent()
  }
 }
 return new Promise((resolve, reject) => {
  request(options, (err, response, body) => {
  if (!err && response.statusCode === 200) {
   return resolve(body)
  } else {
   return reject(err)
  }
  })
 })
 }

使用 Promise 來進(jìn)行包裝，便于后面使用的時(shí)候用上 async/await 。因?yàn)橛泻芏嗑W(wǎng)站是在客戶端渲染的，所以下載到的頁面不一定包含想要的HTML內(nèi)容，我們可以使用 Google 的 puppeteer 來下載客戶端渲染的網(wǎng)站頁面。眾所周知的原因，在 npm i 的時(shí)候 puppeteer 可能因?yàn)樾枰螺dChrome內(nèi)核導(dǎo)致安裝會(huì)失敗，多試幾次就好了：） 

puppeteerDownloadHTML () {
 return new Promise(async (resolve, reject) => {
  try {
  const browser = await puppeteer.launch({ headless: true })
  const page = await browser.newPage()
  await page.goto(this.url)
  const bodyHandle = await page.$('body')
  const bodyHTML = await page.evaluate(body => body.innerHTML, bodyHandle)
  return resolve(bodyHTML)
  } catch (err) {
  console.log(err)
  return reject(err)
  }
 })
 }

當(dāng)然客戶端渲染的頁面最好是直接使用接口請求的方式，這樣后面的HTML解析都不需要了，進(jìn)行一下簡單的封裝，然后就可以像這樣使用了： #滑稽 ：）

await new Downloader('http://36kr.com/newsflashes', DOWNLOADER.puppeteer).downloadHTML()

二、HTML內(nèi)容提取

HTML內(nèi)容提取當(dāng)然是使用神器 cheerio 了， cheerio 暴露了和 jQuery 一樣的接口，用起來非常簡單。瀏覽器打開頁面 F12 查看提取的頁面元素節(jié)點(diǎn)，然后根據(jù)需求來提取內(nèi)容即可 

readHubExtract () {
 let nodeList = this.$('#itemList').find('.enableVisited')
 nodeList.each((i, e) => {
  let a = this.$(e).find('a')
  this.extractData.push(
  this.extractDataFactory(
   a.attr('href'),
   a.text(),
   '',
   SOURCECODE.Readhub
  )
  )
 })
 return this.extractData
 }

三、定時(shí)任務(wù)

cron 每天跑一跑 
function job () {
 let cronJob = new cron.CronJob({
 cronTime: cronConfig.cronTime,
 onTick: () => {
  spider()
 },
 start: false
 })
 cronJob.start()
}

四、數(shù)據(jù)持久化

數(shù)據(jù)持久化理論上應(yīng)該不屬于爬蟲關(guān)心的范圍，用 mongoose ，創(chuàng)建Model 

import mongoose from 'mongoose'
const Schema = mongoose.Schema
const NewsSchema = new Schema(
 {
 title: { type: 'String', required: true },
 url: { type: 'String', required: true },
 summary: String,
 recommend: { type: Boolean, default: false },
 source: { type: Number, required: true, default: 0 },
 status: { type: Number, required: true, default: 0 },
 createdTime: { type: Date, default: Date.now }
 },
 {
 collection: 'news'
 }
)
export default mongoose.model('news', NewsSchema)

基本操作

import { OBJ_STATUS } from '../../Constants'
class BaseService {
 constructor (ObjModel) {
 this.ObjModel = ObjModel
 }

 saveObject (objData) {
 return new Promise((resolve, reject) => {
  this.ObjModel(objData).save((err, result) => {
  if (err) {
   return reject(err)
  }
  return resolve(result)
  })
 })
 }
}
export default BaseService

資訊

import BaseService from './BaseService'
import News from '../models/News'
class NewsService extends BaseService {}
export default new NewsService(News)

愉快地保存數(shù)據(jù)

await newsService.batchSave(newsListTem)

更多內(nèi)容到Github把項(xiàng)目clone下來看就好了。

總結(jié)

相關(guān)文章

最新評論