ELK監(jiān)控nginx日志的整體流程
ELK介紹
ELK即ElasticSearch + Logstash + kibana
- ES:作為存儲引擎
- Logstash:用來采集日志
- Kibana可以將ES中的數(shù)據(jù)進行可視化,可以進行數(shù)據(jù)分析中常見的對屬性求和、平均值、計數(shù),按照時間戳或其他日志展示出來
整體的流程就是先把logstash啟動,讀取nginx日志數(shù)據(jù)存儲到ES中,再用kibana進行統(tǒng)計以及可視化
一.nginx
第一步需要先把nginx的日志格式修改為json格式,這樣方便logstash讀取
找到配置文件位置,我的是在/usr/local/nginx/conf
在其中添加
log_format main_json '{"@timestamp": "$time_local", ' '"remote_addr": "$remote_addr", ' '"referer": "$http_referer", ' '"request": "$request", ' '"status": $status, ' '"bytes": $body_bytes_sent, ' '"agent": "$http_user_agent", ' '"x_forwarded": "$http_x_forwarded_for", ' '"up_addr": "$upstream_addr",' '"up_host": "$upstream_http_host",' '"up_resp_time": "$upstream_response_time",' '"request_time": "$request_time"' ' }'; access_log logs/access.log main_json; # 引用日志格式名稱
改完以后日志的格式就會變?yōu)閖son字符串,如下所示
{ "@timestamp": "25/Feb/2022:10:58:15 +0800", "remote_addr": "192.168.2.95", "referer": "-", "request": "GET /api/getScreenshot?url=http://www.qhjyedu.com/0e/bd/c12a3773/page.htm&path=/data2/ncs-cyber/mirror/page_image/situation_image/gdzx20211020/ddd38417-971b-400f-b430-834022c57d97.png&errorKeyWord=中國民族偉大復(fù)興&successKeyWord=中華民族偉大復(fù)興 HTTP/1.1", "status": 304, "bytes": 0, "agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36", "x_forwarded": "-", "up_addr": "192.168.3.222:9848", "up_host": "-", "up_resp_time": "12.193", "request_time": "12.193" }
二.logstash
接著便是寫logstash配置文件了,自己寫一個配置文件,我的名字叫做nginx-access.conf,配置如下
input { file { path => ["/usr/local/nginx/logs/access.log"] # 讀取日志文件的路徑 start_position => "beginning" codec => json { # 這里是將json字符串轉(zhuǎn)化為json,不然的話會在es中存一個<屬性,json字符串> charset => ["UTF-8"] } } } filter { # 簡單處理,無過濾操作 } output { elasticsearch { hosts => ["你的ip:port"] # 你的es的ip+端口 index => "logstash-nginx-access-%{+YYYY.MM.dd}" # 你的索引名 } stdout { codec => rubydebug } }
這樣配置完配置文件以后,就可以執(zhí)行l(wèi)ogstash指令了,根據(jù)配置文件,讀取指定的日志文件
logstash-6.7.2/bin/./logstash -f /home/xxx/nginx_access.conf --path.data=/home/xxx/logstash
之后可以在es中查看自己新建立的索引
由于我這里服務(wù)器的logstash和es都是已經(jīng)部署好的,沒有部署的話需要查看一下部署的教程,部署一下
另外,日志采集其實也可以使用fleatbeats,是一個更加輕量易用的日志采集工具
三.kibana
接著就可以在kibana中對es索引進行可視化了
1.management添加索引
選擇你在es中存儲的索引,直接一路next。
2.Discover查看索引
3.Visualize建立儀表盤模板
選擇你想要展示的圖標模式,我這里簡單的測試了一下折線圖,統(tǒng)計的同學(xué)應(yīng)該對這些操作更加熟悉
縱軸選擇count,橫軸選擇terms,執(zhí)行一下,圖表就出來了
點擊上側(cè)導(dǎo)航欄的save即可將你建立的這個視圖模板保存,之后可以將其放入到dashboard持續(xù)監(jiān)測
4.Dashboard
可以選擇建立好的visualize,在這個地方進行展示
總結(jié)
一次關(guān)于elk的簡單實踐,主要的操作都在于部署、配置,不過由于我的服務(wù)器已經(jīng)部署好了這些,只需要配置就行了。
另外不容易操作的點就在于visualize的配置,可能需要一些統(tǒng)計學(xué)知識,才能對數(shù)據(jù)進行更好的統(tǒng)計分析,以便公司做出更優(yōu)的決策
到此這篇關(guān)于ELK監(jiān)控nginx日志總結(jié)的文章就介紹到這了,更多相關(guān)ELK監(jiān)控nginx日志內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Nginx獲取客戶端真實IP(real_ip_header)的實現(xiàn)
在使用Nginx作為反向代理時,確保獲取客戶端真實IP是關(guān)鍵,通過配置real_ip_header和set_real_ip_from,Nginx可以正確解析X-Forwarded-For頭部信息,并更新$remote_addr為客戶端真實IP,下面就來具體介紹一下2024-10-10nginx反向代理用做內(nèi)網(wǎng)域名轉(zhuǎn)發(fā)
這篇文章主要為大家詳細介紹了nginx反向代理用做內(nèi)網(wǎng)域名轉(zhuǎn)發(fā),具有一定的參考價值,感興趣的小伙伴們可以參考一下2016-10-10在網(wǎng)關(guān)中使用Nginx配置HTTP透明代理案例
這篇文章主要介紹了在網(wǎng)關(guān)中使用Nginx配置HTTP透明代理案例,中間還需要iptables配合,需要的朋友可以參考下2014-06-06Nginx使用ngx_http_upstream_module實現(xiàn)負載均衡功能示例
本文主要介紹了Nginx使用ngx_http_upstream_module實現(xiàn)負載均衡功能示例,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08