欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

ELK監(jiān)控nginx日志的整體流程

 更新時(shí)間:2022年03月07日 16:07:00   作者:andandan  
這篇文章主要介紹了ELK監(jiān)控nginx日志總結(jié),整體流程是先把logstash啟動(dòng),讀取nginx日志數(shù)據(jù)存儲(chǔ)到ES中,再用kibana進(jìn)行統(tǒng)計(jì)以及可視化,本文給大家介紹的非常詳細(xì),需要的朋友參考下吧

ELK介紹

ELK即ElasticSearch + Logstash + kibana

  • ES:作為存儲(chǔ)引擎
  • Logstash:用來(lái)采集日志
  • Kibana可以將ES中的數(shù)據(jù)進(jìn)行可視化,可以進(jìn)行數(shù)據(jù)分析中常見(jiàn)的對(duì)屬性求和、平均值、計(jì)數(shù),按照時(shí)間戳或其他日志展示出來(lái)

整體的流程就是先把logstash啟動(dòng),讀取nginx日志數(shù)據(jù)存儲(chǔ)到ES中,再用kibana進(jìn)行統(tǒng)計(jì)以及可視化

一.nginx

第一步需要先把nginx的日志格式修改為json格式,這樣方便logstash讀取
找到配置文件位置,我的是在/usr/local/nginx/conf
在其中添加

  log_format main_json '{"@timestamp": "$time_local", '
                        '"remote_addr": "$remote_addr", '
                        '"referer": "$http_referer", '
                        '"request": "$request", '
                        '"status": $status, '
                        '"bytes": $body_bytes_sent, '
                        '"agent": "$http_user_agent", '
                        '"x_forwarded": "$http_x_forwarded_for", '
                        '"up_addr": "$upstream_addr",'
                        '"up_host": "$upstream_http_host",'
                        '"up_resp_time": "$upstream_response_time",'
                        '"request_time": "$request_time"'
                        ' }';
    access_log  logs/access.log main_json; # 引用日志格式名稱(chēng)

改完以后日志的格式就會(huì)變?yōu)閖son字符串,如下所示

{
    "@timestamp": "25/Feb/2022:10:58:15 +0800",
    "remote_addr": "192.168.2.95",
    "referer": "-",
    "request": "GET /api/getScreenshot?url=http://www.qhjyedu.com/0e/bd/c12a3773/page.htm&path=/data2/ncs-cyber/mirror/page_image/situation_image/gdzx20211020/ddd38417-971b-400f-b430-834022c57d97.png&errorKeyWord=中國(guó)民族偉大復(fù)興&successKeyWord=中華民族偉大復(fù)興 HTTP/1.1",
    "status": 304,
    "bytes": 0,
    "agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36",
    "x_forwarded": "-",
    "up_addr": "192.168.3.222:9848",
    "up_host": "-",
    "up_resp_time": "12.193",
    "request_time": "12.193"
}

二.logstash

接著便是寫(xiě)logstash配置文件了,自己寫(xiě)一個(gè)配置文件,我的名字叫做nginx-access.conf,配置如下

input {
    file {
        path => ["/usr/local/nginx/logs/access.log"]   # 讀取日志文件的路徑
	start_position => "beginning"
	codec => json {    # 這里是將json字符串轉(zhuǎn)化為json,不然的話會(huì)在es中存一個(gè)<屬性,json字符串>
		charset => ["UTF-8"]
		}
    }
}
filter {  # 簡(jiǎn)單處理,無(wú)過(guò)濾操作
    }
output {
    elasticsearch {
        hosts => ["你的ip:port"]  # 你的es的ip+端口
	index => "logstash-nginx-access-%{+YYYY.MM.dd}" # 你的索引名
	
    }
    stdout {
        codec => rubydebug
    }
}

這樣配置完配置文件以后,就可以執(zhí)行l(wèi)ogstash指令了,根據(jù)配置文件,讀取指定的日志文件

logstash-6.7.2/bin/./logstash -f /home/xxx/nginx_access.conf --path.data=/home/xxx/logstash

之后可以在es中查看自己新建立的索引

由于我這里服務(wù)器的logstash和es都是已經(jīng)部署好的,沒(méi)有部署的話需要查看一下部署的教程,部署一下

另外,日志采集其實(shí)也可以使用fleatbeats,是一個(gè)更加輕量易用的日志采集工具

三.kibana

接著就可以在kibana中對(duì)es索引進(jìn)行可視化了

1.management添加索引

 

選擇你在es中存儲(chǔ)的索引,直接一路next。

2.Discover查看索引

3.Visualize建立儀表盤(pán)模板

選擇你想要展示的圖標(biāo)模式,我這里簡(jiǎn)單的測(cè)試了一下折線圖,統(tǒng)計(jì)的同學(xué)應(yīng)該對(duì)這些操作更加熟悉

縱軸選擇count,橫軸選擇terms,執(zhí)行一下,圖表就出來(lái)了

點(diǎn)擊上側(cè)導(dǎo)航欄的save即可將你建立的這個(gè)視圖模板保存,之后可以將其放入到dashboard持續(xù)監(jiān)測(cè)

4.Dashboard

可以選擇建立好的visualize,在這個(gè)地方進(jìn)行展示

總結(jié)

一次關(guān)于elk的簡(jiǎn)單實(shí)踐,主要的操作都在于部署、配置,不過(guò)由于我的服務(wù)器已經(jīng)部署好了這些,只需要配置就行了。
另外不容易操作的點(diǎn)就在于visualize的配置,可能需要一些統(tǒng)計(jì)學(xué)知識(shí),才能對(duì)數(shù)據(jù)進(jìn)行更好的統(tǒng)計(jì)分析,以便公司做出更優(yōu)的決策

到此這篇關(guān)于ELK監(jiān)控nginx日志總結(jié)的文章就介紹到這了,更多相關(guān)ELK監(jiān)控nginx日志內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Nginx配置-日志格式配置方式

    Nginx配置-日志格式配置方式

    這篇文章主要介紹了Nginx配置-日志格式配置方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-03-03
  • Nginx增添api接口的實(shí)現(xiàn)方法

    Nginx增添api接口的實(shí)現(xiàn)方法

    這篇文章給大家介紹了Nginx增添api接口的方法,文章通過(guò)代碼示例介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,具有一定的參考價(jià)值,需要的朋友可以參考下
    2023-10-10
  • 解決nginx已經(jīng)配置過(guò)跨域不生效問(wèn)題

    解決nginx已經(jīng)配置過(guò)跨域不生效問(wèn)題

    這篇文章主要介紹了解決nginx已經(jīng)配置過(guò)跨域不生效的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-12-12
  • Nginx中sub_filter 配置使用小結(jié)

    Nginx中sub_filter 配置使用小結(jié)

    sub_filter?是一個(gè)用于替換響應(yīng)內(nèi)容的模塊,本文主要介紹了 Nginx中sub_filter 配置使用小結(jié),具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-05-05
  • Nginx獲取客戶(hù)端真實(shí)IP(real_ip_header)的實(shí)現(xiàn)

    Nginx獲取客戶(hù)端真實(shí)IP(real_ip_header)的實(shí)現(xiàn)

    在使用Nginx作為反向代理時(shí),確保獲取客戶(hù)端真實(shí)IP是關(guān)鍵,通過(guò)配置real_ip_header和set_real_ip_from,Nginx可以正確解析X-Forwarded-For頭部信息,并更新$remote_addr為客戶(hù)端真實(shí)IP,下面就來(lái)具體介紹一下
    2024-10-10
  • nginx location優(yōu)先級(jí)的深入講解

    nginx location優(yōu)先級(jí)的深入講解

    這篇文章主要給大家介紹了關(guān)于nginx location優(yōu)先級(jí)的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-09-09
  • nginx反向代理用做內(nèi)網(wǎng)域名轉(zhuǎn)發(fā)

    nginx反向代理用做內(nèi)網(wǎng)域名轉(zhuǎn)發(fā)

    這篇文章主要為大家詳細(xì)介紹了nginx反向代理用做內(nèi)網(wǎng)域名轉(zhuǎn)發(fā),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2016-10-10
  • Nginx常見(jiàn)的錯(cuò)誤配置舉例

    Nginx常見(jiàn)的錯(cuò)誤配置舉例

    這篇文章主要介紹了Nginx常見(jiàn)的錯(cuò)誤配置舉例,幫助大家更好的理解和學(xué)習(xí)使用Nginx,感興趣的朋友可以了解下
    2021-03-03
  • 在網(wǎng)關(guān)中使用Nginx配置HTTP透明代理案例

    在網(wǎng)關(guān)中使用Nginx配置HTTP透明代理案例

    這篇文章主要介紹了在網(wǎng)關(guān)中使用Nginx配置HTTP透明代理案例,中間還需要iptables配合,需要的朋友可以參考下
    2014-06-06
  • Nginx使用ngx_http_upstream_module實(shí)現(xiàn)負(fù)載均衡功能示例

    Nginx使用ngx_http_upstream_module實(shí)現(xiàn)負(fù)載均衡功能示例

    本文主要介紹了Nginx使用ngx_http_upstream_module實(shí)現(xiàn)負(fù)載均衡功能示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-08-08

最新評(píng)論