欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

NodeJS讀取分析Nginx錯(cuò)誤日志的方法

 更新時(shí)間:2019年05月14日 14:35:06   作者:zpzxgcr  
這篇文章主要介紹了NodeJS讀取分析Nginx錯(cuò)誤日志的相關(guān)知識(shí),本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

網(wǎng)上很少看到有用NodeJS運(yùn)維系列文章,后續(xù)我會(huì)更新一些NodeJS運(yùn)維相關(guān)的內(nèi)容又或者說讓我們更加的深入了解一些服務(wù)器的知識(shí)以及自動(dòng)化運(yùn)維方面的基礎(chǔ)知識(shí) 為什么要做錯(cuò)誤日志分析,因?yàn)榫W(wǎng)上這方面的工具不多我找到一個(gè)goaccess但是都是分析成功日志以及用戶訪問趨勢(shì),找了半天沒找著自己想要的索性就自己利用Node造一個(gè)

錯(cuò)誤日志分析

首先我們要讀取Nginx日志,我們可以看到Nginx的錯(cuò)誤日志格式一般都是這樣子,需要注意的是Nginx的錯(cuò)誤日志格式是差不多的因?yàn)闊o法設(shè)置日志格式只能設(shè)置日志錯(cuò)誤等級(jí)所以我們分析的時(shí)候很方便

 這里我們用到readline

逐行讀取,簡(jiǎn)單來說可以做

  • 文件逐行讀?。罕热缯f進(jìn)行日志分析。
  • 自動(dòng)完成:比如輸入npm,自動(dòng)提示"help init install"。
  • 命令行工具:比如npm init這種問答式的腳手架工具。 這里我們主要做日志分析其他的感興趣可以琢磨一下

實(shí)現(xiàn)方法

const readline = require('readline');
const fs = require('fs');
const path = require('path');
console.time('readline-time')
const rl = readline.createInterface({
 input: fs.createReadStream(path.join(__dirname, '../public/api.err.log'), {
  start: 0,
  end: Infinity
 }),

});
let count = 0; 
rl.on('line', (line) => {
 const arr = line.split(', ');
 const time = arr[0].split('*')[0].split('[')[0].replace(/\//g, '-');//獲取到時(shí)間
 const error = arr[0].split('*')[1].split(/\d\s/)[1];//錯(cuò)誤原因
 const client = arr[1].split(' ')[1];//請(qǐng)求的客戶端
 const server = arr[2].split(' ')[1];//請(qǐng)求的網(wǎng)址
 const url = arr[3].match(/\s\/(\S*)\s/)[0].trim()//獲取請(qǐng)求鏈接
 const upstream = arr[4].match(/(?<=").*?(?=")/g)[0];//獲取上游
 const host = arr[5].match(/(?<=").*?(?=")/g)[0];//獲取host
 const referrer = arr[6] ? arr[6].match(/(?<=").*?(?=")/g)[0] : '';//來源
 console.log(`時(shí)間:${time}-原因:${error}-客戶端:${client}-網(wǎng)址:${server}-地址:${url}-上游:${upstream}-主機(jī):${host}-來源:${referrer}`); 
 count++;
});
rl.on('close', () => {
 let size = fs.statSync(path.join(__dirname, '../public/api.err.log')).size;
 console.log(`讀取完畢:${count};文件位置:${size % 2 === 0}`);
 console.timeEnd('readline-time')
});

上面代碼有幾點(diǎn)需要注意的是會(huì)創(chuàng)建一個(gè)文件可讀流然后由于演示所以我是直接找的本地地址如果是生產(chǎn)環(huán)境的話大家可以直接填寫服務(wù)器上的錯(cuò)誤日志地址,如果沒有Nginx錯(cuò)誤日志分割的話每天會(huì)產(chǎn)生很多日志,createReadStream讀取幾十M的文件還好如果讀取幾百M(fèi)或者上G的容量日志這會(huì)造成性能問題,所以我們需要在每次createReadStream沒必要每次從0字節(jié)開始讀取,ceateReadStream提供了start和end

 

所以我們每次可以在讀取完之后記錄一下當(dāng)前文件字節(jié)大小下一次讀取文件就是可以用該文件上次的大小開始讀取

let size = fs.statSync(path.join(__dirname, '../public/api.err.log')).size;

我們可以對(duì)比一下每次從0字節(jié)開始讀取和從指定字節(jié)讀取

保存數(shù)據(jù)進(jìn)行分析

這里我是用node-schedule這個(gè)庫(kù)進(jìn)行定時(shí)保存錯(cuò)誤日志和linux的cron差不多,用的mongodb保存數(shù)據(jù),這里更推薦大家用elasticsearch來做日志分析

rl.on('close', async () => {
     let count = 0;
     for (let i of rlist) {
      count++;
      if (count % 500 === 0) {
       const res = await global.db.collection('logs').bulkWrite(rlist.slice(count, count + 500), { ordered: false, w: 1 }).catch(err => { console.error(`批量插入出錯(cuò)${err}`) }); 
      } else if (count === rlist.length - 1) {
      //批量插入 數(shù)據(jù)
       const res = await global.db.collection('logs').bulkWrite(rlist.slice(rlist - (rlist % 500), rlist.length), { ordered: false, w: 1 });
       let size = fs.statSync(addres).size;
       size = size % 2 === 0 ? size : size + 1;//保證字節(jié)大小是偶數(shù) 不然會(huì)出現(xiàn)讀取上行內(nèi)容不完整的情況
       count = 0;
       rlist.length = [];
       //更新數(shù)據(jù)庫(kù)里面文件的size
       global.db.collection('tasks').updateOne({ _id: addre }, { $set: { _id: addre, size, date: +new Date() } }, { upsert: true }); 
      }
     }
     resolve(true);
    })

上面主要是500條保存一次,因?yàn)槲矣玫氖桥坎迦肴缓髆ongodb有限制一次性最多插入16M數(shù)據(jù)的限制,所以大家看自己清空決定一次性插入多少條 猶豫對(duì)readline的實(shí)現(xiàn)比較感興趣,就去翻閱了一下源碼發(fā)現(xiàn)并不是我們想的那么復(fù)雜, readline源碼 ,下面貼一下line事件的源碼,想繼續(xù)深入的同學(xué)可以看看全部的源碼

if (typeof s === 'string' && s) {
     var lines = s.split(/\r\n|\n|\r/);
     for (var i = 0, len = lines.length; i < len; i++) {
      if (i > 0) {
       this._line();
      }
      this._insertString(lines[i]);
     }
    }
...
Interface.prototype._line = function() {
 const line = this._addHistory();
 this.clearLine();
 this._onLine(line);
};
...
Interface.prototype._onLine = function(line) {
 if (this._questionCallback) {
  var cb = this._questionCallback;
  this._questionCallback = null;
  this.setPrompt(this._oldPrompt);
  cb(line);
 } else {
  this.emit('line', line);
 }
};

保存的數(shù)據(jù)需要進(jìn)行分析比如哪個(gè)IP訪問最多哪條錯(cuò)誤最多可以用聚合來進(jìn)行分析貼出示例分析某個(gè)IP在某一天訪問出錯(cuò)最多的原因

db.logs.aggregate(
 // Pipeline
 [
 // Stage 1
 {
  $group: {
   '_id': { 'client': '114.112.163.28', 'server': '$server', 'error': '$error', 'url': '$url', 'upstream': '$upstream','date':'$date' ,'msg':'$msg' } ,
     
   'date':{'$addToSet':'$date'},
   count: { '$sum': 1 } 
  }
 },
 // Stage 2
 {
  $match: { 
     count: { $gte: 1 },
     date: ['2019-05-10']
    
  }
 },
 {
  $sort: {
    count: -1
  }
 },
 ],
 // Options
 {
 cursor: {
  batchSize: 50
 },
 allowDiskUse: true
 }
);

總結(jié)

以上所述是小編給大家介紹的NodeJS讀取分析Nginx錯(cuò)誤日志的方法,希望對(duì)大家有所幫助,如果大家有任何疑問歡迎給我留言,小編會(huì)及時(shí)回復(fù)大家的!

相關(guān)文章

  • 簡(jiǎn)單實(shí)現(xiàn)node.js圖片上傳

    簡(jiǎn)單實(shí)現(xiàn)node.js圖片上傳

    這篇文章主要為大家詳細(xì)介紹了node.js圖片上傳的簡(jiǎn)單實(shí)現(xiàn)代碼,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2016-12-12
  • NodeJS前端自動(dòng)化部署實(shí)現(xiàn)實(shí)例詳解

    NodeJS前端自動(dòng)化部署實(shí)現(xiàn)實(shí)例詳解

    這篇文章主要為大家介紹了NodeJS前端自動(dòng)化部署實(shí)現(xiàn)實(shí)例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-10-10
  • Koa2微信公眾號(hào)開發(fā)之本地開發(fā)調(diào)試環(huán)境搭建

    Koa2微信公眾號(hào)開發(fā)之本地開發(fā)調(diào)試環(huán)境搭建

    本篇文章主要介紹了Koa2微信公眾號(hào)開發(fā)之本地開發(fā)調(diào)試環(huán)境搭建,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-05-05
  • Node中的Events模塊介紹及應(yīng)用

    Node中的Events模塊介紹及應(yīng)用

    events模塊是node內(nèi)置的核心模塊 這個(gè)模塊是node中一個(gè)非常重要的核心模塊,node中所有能觸發(fā)事件的對(duì)象都是這個(gè)類的實(shí)例
    2022-08-08
  • 一文帶你搞懂Node中的流

    一文帶你搞懂Node中的流

    流,通俗來講就是數(shù)據(jù)流動(dòng),數(shù)據(jù)從一個(gè)地方緩慢的流到另一個(gè)地方。本文將通過示例為大家詳細(xì)講講Node中的流,感興趣的可以了解一下
    2022-08-08
  • Node.js readline 逐行讀取、寫入文件內(nèi)容的示例

    Node.js readline 逐行讀取、寫入文件內(nèi)容的示例

    本篇文章主要介紹了Node.js readline逐行讀取、寫入文件內(nèi)容的示例,運(yùn)用readline逐行讀取的兩種實(shí)現(xiàn),小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-03-03
  • 通過node-mysql搭建Windows+Node.js+MySQL環(huán)境的教程

    通過node-mysql搭建Windows+Node.js+MySQL環(huán)境的教程

    這篇文章主要介紹了通過node-mysql搭建Windows+Node.js+MySQL環(huán)境的教程,node-mysql是JavaScript編寫的一個(gè)Node的MySQL驅(qū)動(dòng),需要的朋友可以參考下
    2016-03-03
  • Node.js引入U(xiǎn)IBootstrap的方法示例

    Node.js引入U(xiǎn)IBootstrap的方法示例

    這篇文章主要介紹了Node.js引入U(xiǎn)IBootstrap的方法示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-05-05
  • 初步使用Node連接Mysql數(shù)據(jù)庫(kù)

    初步使用Node連接Mysql數(shù)據(jù)庫(kù)

    這篇文章主要介紹了Node連接Mysql數(shù)據(jù)庫(kù)的詳細(xì)步驟,思路清晰,幫助大家快速使用Node連接Mysql數(shù)據(jù)庫(kù),感興趣的小伙伴們可以參考一下
    2016-03-03
  • 基于socket.io+express實(shí)現(xiàn)多房間聊天

    基于socket.io+express實(shí)現(xiàn)多房間聊天

    本文給大家分享的是使用node.js,基于socket.io+express實(shí)現(xiàn)多房間聊天的代碼,非常的實(shí)用,有需要的小伙伴可以來參考下
    2016-03-03

最新評(píng)論