欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

filebeat收集多個域名網(wǎng)站日志并存儲到不同es索引庫過程

 更新時間:2022年08月23日 11:06:30   作者:jiangxl  
這篇文章主要為大家介紹了filebeat收集多個域名網(wǎng)站日志并存儲到不同es索引庫過程詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪

1.為什么要針對不同的應(yīng)用系統(tǒng)創(chuàng)建不同的索引

公司生產(chǎn)環(huán)境中一臺機器上一定會運行著多個域名的應(yīng)用,web應(yīng)用也是集群的方式,如果filebeat收集來的日志都是分散存儲,且在es上建立的索引也都是分散的,這樣不利于日志的聚合匯總,因此就需要把同一種應(yīng)用的不同機器上的日志全部采集過來存儲到一個索引庫中,在kibana根據(jù)各種條件去匹配

2.搭建web集群環(huán)境

2.1.環(huán)境準備

IP服務(wù)應(yīng)用
192.168.81.210nginx01bbs、blog、www
192.168.81.220nginx02bbs、blog、www

2.2.web集群部署

所有節(jié)點都按如下配置

1.安裝nginx
yum -y install nginx
2.配置站點配置文件
cat www.conf 
server{
	server_name www.jiangxl.com;
	listen 80;
	location ~ / {
		root /web/www;
		index index.html;
	}
}
cat bbs.conf 
server{
	server_name bbs.jiangxl.com;
	listen 80;
	location ~ / {
		root /web/bbs;
		index index.html;
	}
}
cat blog.conf 
server{
	server_name blog.jiangxl.com;
	listen 80;
	location ~ / {
		root /web/blog;
		index index.html;
	}
}
3.創(chuàng)建站點路徑
mkdir /web/{www,bbs,blog} -p
chown -R nginx.nginx /web/
echo "www index" > /web/www/index.html
echo "bbs index" > /web/bbs/index.html
echo "blog index" > /web/blog/index.html
4.重載nginx
nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
systemctl reload nginx
5.訪問站點
curl www.jiangxl.com bbs.jiangxl.com blog.jiangxl.com
www index
bbs index
blog index

2.3.配置應(yīng)用支持json格式的日志輸出

所有節(jié)點都這樣配置

cat www.conf 
server{
	server_name www.jiangxl.com;
	listen 80;
	location ~ / {
		root /web/www;
		index index.html;
	}
	access_log  /var/log/nginx/www_access.log  main;
}
cat bbs.conf 
server{
	server_name bbs.jiangxl.com;
	listen 80;
	location ~ / {
		root /web/bbs;
		index index.html;
	}
	access_log  /var/log/nginx/bbs_access.log  main;
}
cat blog.conf 
server{
	server_name blog.jiangxl.com;
	listen 80;
	location ~ / {
		root /web/blog;
		index index.html;
	}
	access_log  /var/log/nginx/blog_access.log  main;
}

3.配置filebeat實現(xiàn)不同日志對應(yīng)不同索引

3.1.實現(xiàn)思路

**日志索引思路:**如何才能讓filebeat根據(jù)不同的日志路徑去創(chuàng)建不同的索引,其實我們可以想一下ls -l命令,使用ls -l命令才能得到文件的詳細信息,但是使用ll也可以得到,這是為什么呢?是由于ll僅僅只是一個別名,我們也可以當(dāng)成一個標記,ll對應(yīng)的就是ls -l命令

那么日志也一樣的,我們可以把www_access.log當(dāng)成是一個標記,當(dāng)標記內(nèi)容為www_access.log時,我們就把他的日志存儲在www_access_xxx的索引庫中

具體配置:如果一個主機上有多個不同應(yīng)用的日志需要采集,我們可以定義多個type類型,最后根據(jù)定義的標記在indices中進行匹配

**日志聚合思路:**我們也可以將所有機器的tomcat、nginx日志進行聚合收集,不需要根據(jù)應(yīng)用去區(qū)分,而是把所有的tomcat日志收集在一起,這樣便于開發(fā)人員去查詢?nèi)罩荆槟呐_主機的就在kibana上進行過濾就行了

如下圖所示,tomcat就是聚合收集,查哪臺機器的日志就添加一個篩選寫上主機名就可以了

filebeat標記匹配語法:

filebeat.inputs:
- type: log 									//一個日志一個type
  enabled: true										//是否寫在es中
  paths:											//日志路徑
    - /var/log/nginx/www_access.log
  json.keys_under_root: true								//開啟json格式解析
  json.overwrite_keys: true  
  tags: ["www"]														//標記內(nèi)容,在[]里填寫即可
output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:													//索引匹配
    - index: "nginx-www-access-%{+yyyy.MM.dd}"					//索引庫名稱
      when.contains:										//匹配什么標記
        tags: "www"											//匹配標記為www的日志

3.2.配置filebeat不同日志使用不同索引庫

nginx集群內(nèi)的所有filebeat都需要如下配置

vim復(fù)制小技巧:復(fù)制2-8行的內(nèi)容,粘貼到第9行的操作命令:在vim命令模式輸入:2,8t9,2,8表示2-8t行復(fù)制,9表示粘貼在第九行

1.配置filebeat
vim /etc/filebeat/filebeat.yml 
filebeat.inputs:
- type: log 
  enabled: true
  paths:
    - /var/log/nginx/www_access.log
  json.keys_under_root: true
  json.overwrite_keys: true  
  tags: ["www"]
- type: log 
  enabled: true
  paths:
    - /var/log/nginx/bbs_access.log
  json.keys_under_root: true
  json.overwrite_keys: true  
  tags: ["bbs"]
- type: log 
  enabled: true
  paths:
    - /var/log/nginx/blog_access.log
  json.keys_under_root: true
  json.overwrite_keys: true  
  tags: ["blog"]
output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:
    - index: "nginx-www-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "www"
    - index: "nginx-bbs-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "bbs"
    - index: "nginx-blog-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "blog"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
2.重啟filebeat
systemctl restart filebeat

3.3.在es上查看創(chuàng)建的索引庫

由于nginx集群相同的應(yīng)用是要寫在同一個索引庫中的,因此我們要觀察每加一個集群產(chǎn)生的數(shù)據(jù)變化

剛配置完nginx01時的樣子

www:12條 blog:11條 bbs:12條

增加nginx02后的樣子

訪問nginx02上的應(yīng)用六七次后,數(shù)據(jù)明顯發(fā)生了變化

www:19條 blog:18條 bbs:19條

可以具體看索引中的數(shù)據(jù),看看是不是對應(yīng)的日志,完全正確

3.4.在kibana上關(guān)聯(lián)es索引庫

3.4.1.創(chuàng)建www索引庫

點擊Managerment----索引模式---創(chuàng)建索引

字段選擇@timestamp

3.4.2.創(chuàng)建bbs索引庫

操作與www的一致

3.4.3.創(chuàng)建blog索引庫

操作與www的一致

3.4.4.所有應(yīng)用索引庫都一一對應(yīng)上了

4.在kibana統(tǒng)計日志分析

4.1.統(tǒng)計nginx01主機www應(yīng)用200狀態(tài)碼數(shù)量

篩選添加:beat.name(主機名)is(是) nginx01(主機名)

? 狀態(tài)碼(訪問狀態(tài)碼) is(是) 200(狀態(tài)碼為200)

4.2.統(tǒng)計所有節(jié)點訪問狀態(tài)碼為200的日志

只需要添加一個篩選器即可

篩選添加:狀態(tài)碼(訪問狀態(tài)碼) is(是) 200(狀態(tài)碼為200)

日志也起到了聚合的作用,所有節(jié)點都可以統(tǒng)計

以上就是filebeat收集多個域名網(wǎng)站日志并存儲到不同es索引庫過程的詳細內(nèi)容,更多關(guān)于filebeat收集網(wǎng)站日志存儲es的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Nginx反向代理學(xué)習(xí)實例教程

    Nginx反向代理學(xué)習(xí)實例教程

    nginx作為web服務(wù)器一個重要的功能就是反向代理,當(dāng)然你也可以使用nginx配置正向代理,這篇文章主要給大家介紹了關(guān)于Nginx反向代理的相關(guān)資料,需要的朋友可以參考下
    2021-10-10
  • 解決nginx“504?Gateway?Time-out”錯誤

    解決nginx“504?Gateway?Time-out”錯誤

    這篇文章介紹了解決nginx“504?Gateway?Time-out”錯誤的方法,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-12-12
  • 使用Nginx搭建圖片服務(wù)器(windows環(huán)境下)

    使用Nginx搭建圖片服務(wù)器(windows環(huán)境下)

    這篇文章主要介紹了使用Nginx搭建圖片服務(wù)器(windows環(huán)境下),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-06-06
  • nginx使用replace-filter-nginx-module實現(xiàn)內(nèi)容替換的示例

    nginx使用replace-filter-nginx-module實現(xiàn)內(nèi)容替換的示例

    本篇文章主要介紹了nginx使用replace-filter-nginx-module實現(xiàn)內(nèi)容替換的示例,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-03-03
  • nginx啟動服務(wù)提示98: Address already in use錯誤的解決

    nginx啟動服務(wù)提示98: Address already in use錯誤的解決

    這篇文章主要給大家介紹了nginx啟動服務(wù)提示98: Address already in use錯誤的解決方法,文中介紹的非常詳細,對大家具有一定的參考學(xué)習(xí)價值,需要的朋友們下面來一起看看吧。
    2017-05-05
  • FastDFS及Nginx整合實現(xiàn)代碼解析

    FastDFS及Nginx整合實現(xiàn)代碼解析

    這篇文章主要介紹了FastDFS及Nginx整合實現(xiàn)代碼解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-08-08
  • Nginx服務(wù)快速入門教程

    Nginx服務(wù)快速入門教程

    這篇文章主要介紹了Nginx服務(wù)快速入門教程的的相關(guān)資料,幫助大家更好的理解和使用nginx,感興趣的朋友可以了解下
    2021-02-02
  • Linux下安裝配置nginx詳解

    Linux下安裝配置nginx詳解

    本篇文章主要介紹了Linux下安裝配置nginx,介紹了在Linux系統(tǒng)下安裝配置Nginx的詳細過程,具有一定的參考價值,有興趣的可以了解一下。
    2017-01-01
  • nginx緩存及錯誤頁面配置

    nginx緩存及錯誤頁面配置

    這篇文章主要介紹了nginx緩存及錯誤頁面配置的相關(guān)資料,需要的朋友可以參考下
    2017-01-01
  • Nginx+Tomcat高性能負載均衡集群搭建教程

    Nginx+Tomcat高性能負載均衡集群搭建教程

    這篇文章主要為大家詳細介紹了Nginx+Tomcat高性能負載均衡集群搭建教程,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-04-04

最新評論