基于Docker快速搭建ELK的方法
【摘要】 本文基于自建的Docker平臺速搭建一套完整的ELK系統(tǒng),相關(guān)的鏡像直接從Docker Hub上獲取,可以快速實現(xiàn)日志的采集和分析檢索。
準(zhǔn)備鏡像
- 獲取ES鏡像:docker pull elasticsearch:latest
- 獲取kibana鏡像:docker pull kibana:latest
- 獲取logstash鏡像:docker pull logstash:latest
官方鏡像里面ES的配置文件保存在/usr/share/elasticsearch/config,如果有需要可以將該目錄映射到宿主機上;數(shù)據(jù)文件目錄/usr/share/elasticsearch/data,這里我們把數(shù)據(jù)目錄映射出來;容器默認(rèn)對外提供9200端口,用作API交互。
docker run --name elasticsearch \ -v "$PWD/esdata":/usr/share/elasticsearch/data \ -p 9200:9200 \ -d elasticsearch
容器啟動以后可以調(diào)用一把驗證一下:
啟動Kibana
Kibana作為ES操作的UI,需要跟ES容器通信,所以這里要將ES的容器link一下,對外提供5601端口做頁面交互。
docker run --name kibana \ --link elasticsearch:elasticsearch \ -p 5601:5601 \ -d kibana
容器啟動后用瀏覽器訪問5601端口,可以看到kibana頁面,首次訪問的時候可能會提示沒有建立默認(rèn)索引,這里需要在管理頁面上創(chuàng)建一個默認(rèn)索引。默認(rèn)索引通常叫做logstash-*,如下圖所示創(chuàng)建一個默認(rèn)索引。
啟動Logstash
Logstash主要作用是收集日志,這個組件有很多插件,可以支持大部分日志集成方式,如tcp、udp、jdbc、文件、隊列等,他的配置非常簡單,啟動方式也很簡單,這里以nginx的訪問日志為例,我們配置logstash讀取nginx的access.log,然后把日志轉(zhuǎn)發(fā)到Elasticsearch
首先編譯一個logstash配置文件logstash.conf,內(nèi)容如下:
input{ file{ path=>"/tmp/nginx/logs/access.log" } }output{ stdout{ } #日志輸出到控制臺 #輸出到es elasticsearch{ hosts=>"100.100.x.231" } }
啟動容器,這里我們把nginx的日志放在/tmp/nginx/logs/access.log,為了讓容器能讀到這個日志,需要把日志目錄映射到容器里面。
docker run –it –rm -v /tmp/nginx/logs/access.log:/tmp/nginx/logs/access.log -f /config-dir/logstash.conf
接下來我們可以全流程測試一下日志收集展示的過程。首先在nginx里面造點訪問日志,比如直接curl調(diào)nginx服務(wù)端口,或者直接往access.log里面寫數(shù)據(jù)也行。這時候再logstash容器我們可以看到如下日志輸出:
再往后,打開Kibana頁面就可以看到實時寫入的日志數(shù)據(jù)了:
總結(jié)
Docker容器使ELK搭建變得非常便捷,通過ELK可以快速分析檢索日志,發(fā)現(xiàn)問題,ELK的幾個核心貢獻(xiàn)者成立了一家公司叫Elastic,目前跟我司也有一些合作,在開源的基礎(chǔ)上該公司也發(fā)布了一些商業(yè)產(chǎn)品,名為X-Pack,提供了機器學(xué)習(xí)、圖算法以及安全技術(shù)上的諸多加強,有興趣的同學(xué)可以自行了解。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Docker?下MySQL數(shù)據(jù)庫的備份和恢復(fù)的操作方法
這篇文章主要介紹了Docker?下MySQL數(shù)據(jù)庫的備份和恢復(fù)操作方法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-02-02Docker連接mongodb實現(xiàn)過程及代碼案例
這篇文章主要介紹了Docker連接mongodb實現(xiàn)過程及代碼案例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-09-09Docker容器與主機間的文件傳輸方法(復(fù)制/上傳/下載)
這篇文章主要介紹了Docker容器與主機間的文件傳輸方法(復(fù)制/上傳/下載),需要的朋友可以參考下2018-02-02