一、前言

對于一個運行中的應(yīng)用來說，線上排查問題是一件很頭疼的問題。不管是springboot單應(yīng)用，還是springcloud微服務(wù)應(yīng)用，一旦在生產(chǎn)環(huán)境出了問題，大多數(shù)人第一反應(yīng)就是趕緊去看日志查問題。如何查呢？如果是管理不那么嚴(yán)格的項目，允許你登錄生產(chǎn)服務(wù)器通過命令去查，或者將生產(chǎn)的日志down下來去查。但為了服務(wù)器安全，一般來說是不允許研發(fā)人員隨便接觸服務(wù)器，會有運維人員去操作日志，這樣以來就極大的影響了排查的效率，這時候會有人說，如果有可視化的操作，能可視化檢索日志的界面就好了。

二、為什么需要ELK

一般我們需要進(jìn)行日志分析場景：直接在日志文件中 grep、awk 就可以獲得自己想要的信息。但在規(guī)模較大的場景中，此方法效率低下，面臨問題包括日志量太大如何歸檔、文本搜索太慢怎么辦、如何多維度查詢。需要集中化的日志管理，所有服務(wù)器上的日志收集匯總。常見解決思路是建立集中式日志收集系統(tǒng)，將所有節(jié)點上的日志統(tǒng)一收集，管理，訪問。

一般大型系統(tǒng)是一個分布式部署的架構(gòu)，不同的服務(wù)模塊部署在不同的服務(wù)器上，問題出現(xiàn)時，大部分情況需要根據(jù)問題暴露的關(guān)鍵信息，定位到具體的服務(wù)器和服務(wù)模塊，構(gòu)建一套集中式日志系統(tǒng)，可以提高定位問題的效率。一個完整的集中式日志系統(tǒng)，需要包含以下幾個主要特點：

• 收集－能夠采集多種來源的；
• 傳輸－能夠穩(wěn)定的把日志數(shù)據(jù)傳輸?shù)街醒胂到y(tǒng)；
• 存儲－如何存儲日志數(shù)據(jù)；
• 分析－可以支持 UI 分析；
• 警告－能夠提供錯誤報告，監(jiān)控機制；

基于上述的需求，業(yè)界很多公司在不斷探索過程中，經(jīng)過多年的實踐經(jīng)驗，最終形成了以ELK為主流的一整套解決方案，并且都是開源軟件，之間互相配合使用，完美銜接，高效的滿足了很多場合的應(yīng)用，是目前主流的一種日志系統(tǒng)。

三、ELK介紹

3.1 什么是elk

ELK其實并不是某一款軟件，而是一套完整的解決方案，是三個產(chǎn)品的首字母縮寫，即

• Elasticsearch；
• Logstash ；
• Kibana；

這三個軟件都是開源軟件，通常配合使用，而且又先后歸于 Elastic.co 公司名下，故被簡稱為ELK協(xié)議棧，具體來說：

Elasticsearch

是一個分布式的搜索和分析引擎，可以用于全文檢索、結(jié)構(gòu)化檢索和分析，并能將這三者結(jié)合起來。Elasticsearch 基于 Lucene 開發(fā)，現(xiàn)在是使用最廣的開源搜索引擎之一。

Logstash

簡單來說就是一根具備實時數(shù)據(jù)傳輸能力的管道，負(fù)責(zé)將數(shù)據(jù)信息從管道的輸入端傳輸?shù)焦艿赖妮敵龆耍c此同時這根管道還可以讓你根據(jù)自己的需求在中間加上濾網(wǎng)，Logstash提供了很多功能強大的濾網(wǎng)以滿足你的各種應(yīng)用場景。

Kibana

是一個開源的分析與可視化平臺，設(shè)計出來用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的數(shù)據(jù)，使用各種不同的圖標(biāo)、表格、地圖等，kibana能夠很輕易的展示高級數(shù)據(jù)分析與可視化。

3.2 elk工作原理

如下是elk實際工作時的原理圖，還是很容易理解的

四、ELK搭建

下面演示如何搭建elk，網(wǎng)上的參考資料比較豐富，本文采用docker快速搭建起elk的演示環(huán)境，參考下面的步驟。

4.1 搭建es環(huán)境

4.1.1 獲取es鏡像

版本可以根據(jù)自身的情況選擇

docker pull elasticsearch:7.6.2

4.1.2 啟動es容器

使用下面的命令啟動es容器，注意這個配置，ES_JAVA_OPTS="-Xms512m -Xmx512m"，這個配置參數(shù)值根據(jù)你的服務(wù)器配置決定，一般最好不要低于512m即可；

docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms512m -Xmx512m" --name es76 -d elasticsearch:7.6.2

4.1.3 配置es參數(shù)

進(jìn)入到es容器內(nèi)部，然后找到下面的這個文件

然后將下面的配置參數(shù)配置進(jìn)去

cluster.name: "docker-cluster"
http.cors.enabled: true
network.host: 0.0.0.0
http.port: 9200
http.cors.allow-origin: "*"

4.1.4 重啟es容器并訪問

配置完成后重啟docker容器，重啟成功后，開放9200的端口，然后瀏覽器訪問，IP:9200，看到如下信息，說明es可以正常使用。

4.2 搭建kibana

4.2.1 拉取kibana鏡像

為了減少后面的配置麻煩和一些問題，建議kibana版本與es版本一致

docker pull kibana:7.6.2

4.2.2 啟動kibana容器

這里的IP，如果是云服務(wù)器，注意使用內(nèi)網(wǎng)的IP地址

docker run --name kibana -e ELASTICSEARCH_HOSTS=http://es服務(wù)IP:9200 -p 5601:5601 -d kibana:7.6.2

4.2.3 修改配置文件

進(jìn)入到kibana容器中，進(jìn)入到下面的目錄中

cd /usr/share/kibana/config
vi kibana.yml 

將如下的配置信息配置進(jìn)去（es的IP地址如果是云服務(wù)器建議使用內(nèi)網(wǎng)IP）

server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://es服務(wù)IP:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: zh-CN

4.2.4 重啟容器并訪問

上述配置信息配置完成后，重啟容器，開放5601端口，瀏覽器就可以直接訪問，IP:5601，看到下面的效果說明kibana可以正常使用了

4.3 搭建logstash

4.3.1 下載安裝包

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.0.tar.gz

4.3.2 解壓安裝包

4.3.3 新增配置logstash文件

進(jìn)入logstash-7.1.0目錄下的config中

cd logstash-7.1.0/config

新增文件

vi logstash.conf

添加下面的配置信息

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json
  }
}
output {
  elasticsearch {
    hosts => "101.34.251.135:9200"
    index => "springboot-logstash-%{+YYYY.MM.dd}"
  },
  stdout { codec => rubydebug }
}

使用下面的命令進(jìn)行啟動

./bin/logstash -f ./log-conf/logstash.conf

看到下面的輸出日志，說明當(dāng)前l(fā)ogstash服務(wù)已經(jīng)開始工作，準(zhǔn)備接收輸入日志了

五、springboot集成elk

5.1 集成過程演示

參考下面的過程在springboot中快速集成elk

5.1.1 創(chuàng)建springboot工程

項目結(jié)構(gòu)如下

5.1.2 導(dǎo)入依賴

根據(jù)需要引入依賴，如果是集成elk，還需要引入下面這個

        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>5.3</version>
        </dependency>

5.1.3 配置logback日志

springboot集成elk最關(guān)鍵的就是配置logback日志文件，需要按照一定的格式規(guī)范進(jìn)行配置，才能將運行過程中產(chǎn)生的日志上報到logstash，然后經(jīng)過轉(zhuǎn)換輸送到es，最后展現(xiàn)在kibana中，參考下面的配置信息

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <springProperty scope="context" name="springApplicationName" source="spring.application.name" />
    <property name="LOG_HOME" value="logs/demo.log" />
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
    </appender>
 
    <!--DEBUG日志輸出到LogStash-->
    <appender name="LOG_STASH_INFO" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <destination>101.34.251.135:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>Asia/Shanghai</timeZone>
                </timestamp>
                <!--自定義日志輸出格式-->
                <pattern>
                    <pattern>
                        {
                        "project": "elk",
                        "level": "%level",
                        "service": "${springApplicationName:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger",
                        "message": "%message",
                        "stack_trace": "%exception"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
 
    <root >
        <appender-ref ref="STDOUT" />
        <appender-ref ref="LOG_STASH_INFO" />
    </root>
 
</configuration>

5.1.4 增加測試接口

為了后續(xù)方便觀察效果，增加兩個測試接口，一個模擬正常的調(diào)用，另一個模擬異常調(diào)用

 
@RestController
@RequestMapping("/user")
@Slf4j
public class UserController {
 
    @Autowired
    private UserService userService;
 
    //http://localhost:8088/user/get?userId=001
    @GetMapping("/get")
    public Object getUserInfo(String userId){
        log.info("getUserInfo userId:【{}】",userId);
        Map userInfo = userService.getUserInfo(userId);
        return userInfo;
    }
 
    //http://localhost:8088/user/error?userId=001
    @GetMapping("/error")
    public Object error(String userId){
        log.info("error userId:【{}】",userId);
        Map userInfo = userService.getUserInfo(userId);
        int e = 1/0;
        return userInfo;
    }
}

5.1.5 配置索引模式

為了讓程序中的日志能夠正常展現(xiàn)到es中，由于es是通過接收logstash傳輸過來的數(shù)據(jù)，存儲到索引中才能通過kibana展現(xiàn)，所以索引的存儲格式就很重要，需要提前在kibana上面配置一下索引的展現(xiàn)格式

最后進(jìn)入到索引查看的欄目就可以看到展示的索引中的日志信息了

5.1.6 接口調(diào)用

依次調(diào)用上面的兩個測試接口，然后查看kibana中日志的變化

調(diào)用正常響應(yīng)的接口

接口能夠正常響應(yīng)，由于我們在接口方法中添加了一行輸出日志信息，通過上面的搜索框，能夠在es的日志信息中搜索出來；

調(diào)用異常響應(yīng)的接口

接口調(diào)用異常后，也能通過kibana快速發(fā)現(xiàn)異常信息輸出

通過上面的實驗和操作體驗，可以感受到在springboot中集成elk之后帶來的便利，有了可視化的日志展現(xiàn)，提升問題排查效率的同時，也能更好的統(tǒng)一管理日志，并充分發(fā)揮日志的作用。

六、寫在文末

本文通過實際操作詳細(xì)介紹了ELK環(huán)境的搭建，并通過springboot工程演示了如何接入ELK的詳細(xì)過程，希望對看到的同學(xué)有用哦，本篇到此結(jié)束，感謝觀看。

以上就是SpringBoot整合ELK使用教程的詳細(xì)內(nèi)容，更多關(guān)于SpringBoot ELK使用的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論