我是3y，一年CRUD經(jīng)驗(yàn)用十年的markdown程序員????‍??常年被譽(yù)為優(yōu)質(zhì)八股文選手

前兩天我不是發(fā)了一篇數(shù)據(jù)鏈路追蹤的文章嘛，在末尾也遺留了TODO：運(yùn)行應(yīng)用的服務(wù)器一般是集群，日志數(shù)據(jù)會(huì)記錄到不同的機(jī)器上，排查和定位問(wèn)題只能登錄各個(gè)服務(wù)器查看。

今天來(lái)聊聊這個(gè)話題。

00、為什么需要分布式日志組件？

在文章正式開(kāi)始之前，我分享下我以前負(fù)責(zé)過(guò)的一個(gè)系統(tǒng)，它的架構(gòu)如下：

每次當(dāng)我查問(wèn)題的時(shí)候，我可能能把問(wèn)題初步定位在邏輯層，但為了能給業(yè)務(wù)方交代，我需要給證據(jù)業(yè)務(wù)方看（日志信息就是鐵證）。

一個(gè)請(qǐng)求肯定是被這8臺(tái)機(jī)器內(nèi)的某一臺(tái)處理，但具體是哪一臺(tái)，我不知道。所以，我需要上每臺(tái)機(jī)器上grep一把日志，然后才能找出對(duì)應(yīng)的日志證明我的分析。

有的時(shí)候，可能接入層也需要一起參與進(jìn)去，就排查一個(gè)問(wèn)題，人都傻了了（翻看日志的時(shí)間占用了太久了）。

后來(lái)啊，看了同事的騷操作（在item2 編寫(xiě)腳本：快速登錄堡壘機(jī)（免去輸入賬號(hào)和密碼信息），根據(jù)應(yīng)用服務(wù)器數(shù)量來(lái)切割窗口并且切換到對(duì)應(yīng)的日志目錄）。說(shuō)白了就是一鍵登錄多臺(tái)應(yīng)用服務(wù)器。嗯，這查日志的速度比起以前又快了好多。

再后來(lái)，公司運(yùn)維側(cè)又主力推在Web頁(yè)面上登錄應(yīng)用服務(wù)器（自動(dòng)登錄堡壘機(jī)），這能省去編寫(xiě)腳本（支持批量操作）。但從當(dāng)時(shí)的體驗(yàn)上，沒(méi)有用item2訪問(wèn)得流暢（總感覺(jué)卡卡的）。

不過(guò)還有問(wèn)題，因?yàn)槲覀冊(cè)诤芏鄷r(shí)候是不知道在info/warn/error哪個(gè)文件下。很多時(shí)候只能一個(gè)一個(gè)文件去查，雖然說(shuō)可以直接通配符一把查，如果日志過(guò)大，帶來(lái)停頓時(shí)間也挺煩的。

系統(tǒng)一旦被問(wèn)到業(yè)務(wù)問(wèn)題，查日志的頻率實(shí)在是太高了。于是我在某個(gè)Q規(guī)劃的時(shí)候是想自己把日志信息寫(xiě)入到搜索引擎，順便學(xué)習(xí)下搜索引擎的知識(shí)。然后這個(gè)規(guī)劃被組內(nèi)的某個(gè)大佬看到了，在底下評(píng)論：要不來(lái)試試Graylog？

原來(lái)組內(nèi)本身就在維護(hù)了一個(gè)日志框架，只是我不知道...于是我接入了Graylog日志，工作效率杠杠提高了，憑借這個(gè)事情吹了一個(gè)Q。

自從接入了之后，我就沒(méi)登錄過(guò)應(yīng)用服務(wù)器了，有次差點(diǎn)連grep都不會(huì)寫(xiě)了。

01、輕量級(jí)ELK（Graylog）

說(shuō)起ELK，即便沒(méi)用過(guò)肯定也聽(tīng)說(shuō)過(guò)這玩意了，在后端是真的流行。這次austin接入一個(gè)比較輕量級(jí)的ELK框架：Graylog

這個(gè)框架我感覺(jué)蠻好用的，作為使用方接入起來(lái)異常簡(jiǎn)單（我估摸運(yùn)維應(yīng)該也挺簡(jiǎn)單的，很多用Graylog是直接發(fā)UDP到Server，不用在機(jī)器上裝agent收集日志）

一圖勝十言：

官方文檔：https://docs.graylog.org/docs

據(jù)我了解，有相當(dāng)多的企業(yè)使用它來(lái)查看日志和業(yè)務(wù)監(jiān)控告警，這篇文章我就直接讓你們體驗(yàn)體驗(yàn)吧。

02、部署Graylog

老樣子，直接上docker-compose，如果一直跟著我的步伐，應(yīng)該對(duì)著不陌生了。docker-compose.yml的內(nèi)容其實(shí)我也是抄官網(wǎng)的，這里還是貼下吧（就不用你們翻了）

version: '3'
services:
    mongo:
      image: mongo:4.2
      networks:
        - graylog
    elasticsearch:
      image: docker.elastic.co/elasticsearch/elasticsearch-oss:7.10.2
      environment:
        - http.host=0.0.0.0
        - transport.host=localhost
        - network.host=0.0.0.0
        - "ES_JAVA_OPTS=-Dlog4j2.formatMsgNoLookups=true -Xms512m -Xmx512m"
      ulimits:
        memlock:
          soft: -1
          hard: -1
      deploy:
        resources:
          limits:
            memory: 1g
      networks:
        - graylog
    graylog:
      image: graylog/graylog:4.2
      environment:
        - GRAYLOG_PASSWORD_SECRET=somepasswordpepper
        - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
        - GRAYLOG_HTTP_EXTERNAL_URI=http://ip:9009/ # 這里注意要改ip
      entrypoint: /usr/bin/tini -- wait-for-it elasticsearch:9200 --  /docker-entrypoint.sh
      networks:
        - graylog
      restart: always
      depends_on:
        - mongo
        - elasticsearch
      ports:
        - 9009:9000
        - 1514:1514
        - 1514:1514/udp
        - 12201:12201
        - 12201:12201/udp
networks:
    graylog:
      driver: bridg

這個(gè)文件里唯一需要改動(dòng)的就是ip（本來(lái)的端口是9000的，我由于已經(jīng)占用了9000端口了，所以我這里把端口改成了9009，你們可以隨意）

嗯，寫(xiě)完docker-compose.yml文件，直接docker-compose up -d它就啟動(dòng)起來(lái)咯。

啟動(dòng)以后，我們就可以通過(guò)ip:port訪問(wèn)對(duì)應(yīng)的Graylog后臺(tái)地址了，默認(rèn)的賬號(hào)和密碼是admin/admin

隨后，我們配置下inputs的配置，找到GELF UDP，然后點(diǎn)擊Launch new input，只需要填寫(xiě)Title字段，保存就完事了（其他不用動(dòng)）。

嗯，到這里，我們的GrayLog設(shè)置就完成了。

03、SpringBoot使用GrayLog

還記得我們austin項(xiàng)目使用的日志框架嗎？沒(méi)錯(cuò)，就是logback。我們要把日志數(shù)據(jù)寫(xiě)入Graylog很簡(jiǎn)單，只需要兩步：

1、引入依賴：

<dependency>
  <groupId>de.siegmar</groupId>
  <artifactId>logback-gelf</artifactId>
  <version>3.0.0</version>
</dependency>

2、在logback.xml配置graylog相關(guān)的信息：

<appender name="GELF" class="de.siegmar.logbackgelf.GelfUdpAppender">
  <!-- Graylog服務(wù)的地址 -->
  <graylogHost>ip</graylogHost>
  <!-- UDP Input端口 -->
  <graylogPort>12201</graylogPort>
  <!-- 最大GELF數(shù)據(jù)塊大小（單位：字節(jié)），508為建議最小值，最大值為65467 -->
  <maxChunkSize>508</maxChunkSize>
  <!-- 是否使用壓縮 -->
  <useCompression>true</useCompression>
  <encoder class="de.siegmar.logbackgelf.GelfEncoder">
    <!-- 是否發(fā)送原生的日志信息 -->
    <includeRawMessage>false</includeRawMessage>
    <includeMarker>true</includeMarker>
    <includeMdcData>true</includeMdcData>
    <includeCallerData>false</includeCallerData>
    <includeRootCauseData>false</includeRootCauseData>
    <!-- 是否發(fā)送日志級(jí)別的名稱，否則默認(rèn)以數(shù)字代表日志級(jí)別 -->
    <includeLevelName>true</includeLevelName>
    <shortPatternLayout class="ch.qos.logback.classic.PatternLayout">
      <pattern>%m%nopex</pattern>
    </shortPatternLayout>
    <fullPatternLayout class="ch.qos.logback.classic.PatternLayout">
      <pattern>%d - [%thread] %-5level %logger{35} - %msg%n</pattern>
    </fullPatternLayout>

    <!-- 配置應(yīng)用名稱（服務(wù)名稱），通過(guò)staticField標(biāo)簽可以自定義一些固定的日志字段 -->
    <staticField>app_name:austin</staticField>
  </encoder>
</appender>

在這個(gè)配置信息里，唯一要改的也只是ip的地址，到這里接入就完畢了，我們?cè)俅蜷_(kāi)控制臺(tái)，就能看到日志的信息啦。

04、懂點(diǎn)GrayLog

懂點(diǎn)GrayLog查詢語(yǔ)法：這塊我日常來(lái)來(lái)去去其實(shí)就用幾個(gè)，我來(lái)展示下我平時(shí)用的吧。如果覺(jué)得不夠，再去官網(wǎng)文檔撈一把就完事了：https://docs.graylog.org/docs/query-language

1、根據(jù)字段精確查詢：full_message:"13788888888"

2、查詢錯(cuò)誤日志信息：level_name:"ERROR"

3、組合多字段查詢：level_name:"INFO" AND full_message:"13788888888"

在接入的時(shí)候，仔細(xì)的小伙伴可能會(huì)發(fā)現(xiàn)我這邊在Input的時(shí)候選擇的是GELF，然后在引入Maven依賴的時(shí)候也有GELF的字樣。那GELF是啥意思呢？

這塊在官網(wǎng)也有給出對(duì)應(yīng)的解釋：The Graylog Extended Log Format (GELF) is a log format that avoids the shortcomings of classic plain syslog

詳細(xì)資料：https://docs.graylog.org/docs/gelf

GELF是一種日志格式，能避免傳統(tǒng)意義上的 syslogs的一些問(wèn)題，而我們引入的Maven依賴則是把日志格式化成GELF格式然后append到GrayLog上。

05 、番外：Swagger

前幾天有個(gè)老哥在GitHub給我提了個(gè)pull request關(guān)于swagger的，我昨天把他merge了，也升級(jí)了下swagger的版本。

之前我沒(méi)用過(guò)swagger類似的文檔工具，就這次pull request我也去體驗(yàn)了下swagger。

在初次的體驗(yàn)感覺(jué)是不錯(cuò)的：它能把項(xiàng)目的所有接口的文檔信息都能在一個(gè)頁(yè)面上統(tǒng)一管理，并且就能直接通過(guò)樣例參數(shù)直接發(fā)送請(qǐng)求。通過(guò)注解的方式來(lái)進(jìn)行編寫(xiě)文檔，也不用擔(dān)心代碼改了然后忘了更新文檔這事。

但是，后來(lái)我配置好對(duì)應(yīng)的參數(shù)信息文檔，再在swagger-ui體驗(yàn)了下，發(fā)現(xiàn)是真滴丑，看到這ui我還是階段性放棄吧。

swagger的競(jìng)品還有好幾個(gè)，我看ui貌似都要比swagger好看。不過(guò)，austin項(xiàng)目的主要接口就只有一個(gè)，我作為熟練掌握的markdown工程師能輕松勝任文檔工作，就沒(méi)再繼續(xù)體驗(yàn)別的競(jìng)品了。

06、總結(jié)

之前我好像是在知乎看到過(guò)類似的一段話：一個(gè)工具或框架使用優(yōu)秀，就取決于它的入門(mén)的難易。如果一個(gè)框架要花很長(zhǎng)時(shí)間才能弄懂，那可能它做得并沒(méi)那么好。

我其實(shí)不會(huì)經(jīng)常去研究各種使用的框架它的細(xì)節(jié)原理，也不會(huì)蒙頭就去看源碼，沒(méi)什么必要，畢竟它沒(méi)出問(wèn)題啊。

像GrayLog這種工具類的框架，如果在公司不是主要的維護(hù)者，其實(shí)不必太過(guò)于糾結(jié)他的實(shí)現(xiàn)細(xì)節(jié)，可以從總體上把握他的設(shè)計(jì)思想。換我建議，真要學(xué)習(xí)，還得是看它的具體存儲(chǔ)（比如Elasticsearch的原理）

austin項(xiàng)目源碼Gitee鏈接：gitee.com/austin

austin項(xiàng)目源碼GitHub鏈接：github.com/austin

到此這篇關(guān)于SpringBoot接入輕量級(jí)分布式日志框架(GrayLog)的文章就介紹到這了,更多相關(guān)SpringBoot GrayLog日志框架內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論