快捷導(dǎo)航

淺談java日志格式化

更新時(shí)間：2019年05月23日 14:29:30 作者：jasonlu

不管我們使用何種語言開發(fā),一旦程序發(fā)生異常，日志是一個(gè)很重要的數(shù)據(jù)。但是并不是意味著打印的日志越多越好，我們需要的是有用的日志。下面小編來和大家一起學(xué)習(xí)以下知識(shí)

1.日志的重要性

不管我們使用何種語言開發(fā),一旦程序發(fā)生異常，日志是一個(gè)很重要的數(shù)據(jù)。但是并不是意味著打印的日志越多越好，我們需要的是有用的日志。
曾經(jīng)參與一個(gè)很重要的項(xiàng)目?jī)?yōu)化，他們的日志沒有進(jìn)行規(guī)范，開發(fā)、運(yùn)維也沒有把這個(gè)事情放在心上。等到壓測(cè)的時(shí)候TPS和響應(yīng)時(shí)間一直上不去。通過jstack分析發(fā)現(xiàn)，大部分的log數(shù)據(jù)在阻塞！
今天我們不討論具體的日志規(guī)范，我從日志中心的角度來聊下LOG的規(guī)范

2.日志采集分析 -ELK

目前主流的ELK系統(tǒng)應(yīng)該都是通過agent端(filebeat/flume)采集具體.log文件，對(duì)于日志沒有多大處理的話，我們可能把整條日志采集過來后，通過logstash后把message存儲(chǔ)到elasticsearch中。

1.當(dāng)我們需要從每條日志中提取日志時(shí)間、日志級(jí)別等等信息的時(shí)候，我們需要在logstash配置相應(yīng)的 grok語法解析其中的message信息。

2.當(dāng)我們的日志中有異常信息，我們需要提取異常信息的時(shí)候，你會(huì)發(fā)現(xiàn)用grok來清洗message很困難！其實(shí)也有解決的方法，需要你去慢慢寫正則匹配

不錯(cuò)，logstash強(qiáng)大的grok及mutate可以滿足需求，但是當(dāng)日志量很大的時(shí)候，logstash的grok和mutate會(huì)消耗大量的資源。那我們有沒有更有的方案呢？

下面我們用java日志來舉例吧

在想要得到答案之前，我們需要知道存儲(chǔ)到es的最終數(shù)據(jù)是JSON，logstash清洗數(shù)據(jù)最終的結(jié)果是轉(zhuǎn)換成JSON。一般的agent采集端僅僅只是做日志的采集,即使kafka做緩沖，kafka也不做處理。因此我們需要從日志的根源來解決這個(gè)問題。

3.為什么使用logstash處理Java的異常信息不好做呢？

這就涉及到日志框架輸出的異常信息通常是多行的，這就意味著我們需要在filebeat(flume)或者logstash來處理多行的問題。當(dāng)我們?cè)谌罩镜呐渲梦募]有很好的區(qū)分日志的message和stack時(shí)，日志是糅雜一塊的。提前其中的信息很難很難

4. 日志json化

既然原生的日志數(shù)據(jù)不好處理，那么我們需要對(duì)日志框架做些美容手術(shù)。
在日志中，我們一般都會(huì)打印，時(shí)間/日志級(jí)別/線程/日志內(nèi)容/當(dāng)前文件名/loggerName/異常信息等等。
其中日志內(nèi)容和異常信息可能會(huì)出現(xiàn)多行。這個(gè)需要處理下，下面我們使用fastjson來處理這兩個(gè)字段，見代碼

public class MsgConverter extends ClassicConverter {

 @Override
 public String convert(ILoggingEvent event) {
 return JsonUtils.serialize(event.getFormattedMessage());

 }
}

public class StackTraceConverter extends ThrowableProxyConverter {
 @Override
 public String convert(ILoggingEvent event) {
 IThrowableProxy throwableProxy = event.getThrowableProxy();
 // 如果沒有異信息
 if (throwableProxy == null) {
 //返回字符串 ： "\"\""
 return JsonUtils.serialize("");
 }
 String ex = super.convert(event);
 return JsonUtils.serialize(ex);
 }
}

其中JsonUtils可以選擇合適的json框架來處理

之后在logback.xml中配置

<configuration>
 <conversionRule conversionWord="exdiy" converterClass="xxx.logback.converter.StackTraceConverter" />
 <conversionRule conversionWord="msgdiy" converterClass="xxx.logback.converter.MsgConverter" />
</configuration>

修改layout -> Pattern

<layout>
 <!--<Pattern>{"date":"%date{yyyy-MM-dd HH:mm:ss.SSS}","level":"%level","tid":"%tid","className":"%logger","fileLine":"%file:%line","msg":%message, "stack_trace":%ex }%n</Pattern>-->
 <Pattern>{"date":"%date{yyyy-MM-dd HH:mm:ss.SSS}","level":"%level","className":"%logger","fileName":"%file","thread":"%thread","msg":%msgdiy, "stack_trace":%exdiy}%n</Pattern>
</Pattern>

{
 "date":"2019-01-02 16:16:33.817",
 "level":"INFO",
 "className":"org.springframework.web.servlet.DispatcherServlet","fileName":"FrameworkServlet.java","thread":"http-nio-8762-exec-1","msg":"FrameworkServlet 'dispatcherServlet': initialization completed in 38 ms", "stack_trace":"" 
}

logstash將json字符串轉(zhuǎn)換成json即可

json {
 source => "message"
 #target => "doc"
 remove_field => ["message"]
 }
 date {
 match => ["date","yyyy-MM-dd HH:mm:ss.SSS"]
 target => "@timestamp"
 locale => "cn"
 timezone => "Asia/Shanghai"
 }

最終效果