欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Docker Compose一鍵ELK部署的方法實現(xiàn)

 更新時間：2021年01月25日 15:56:44   作者：大漠知秋  
這篇文章主要介紹了Docker Compose一鍵ELK部署的方法實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

安裝

  Filebeat 已經(jīng)完全替代了 Logstash-Forwarder 成為新一代的日志采集器，因為它更加輕量、安全?；?Filebeat + ELK 的部署方案架構(gòu)圖如下： 

  軟件版本：

服務(wù) 版本 說明
CentOS 7.6
Docker 18.09.5
Docker Compose 1.25.0
ELK 7.5.1
Filebeat 7.5.1

docker-compose 文件

version: "3"
services:
 es-master:
  container_name: es-master
  hostname: es-master
  image: elasticsearch:7.5.1
  restart: always
  ports:
   - 9200:9200
   - 9300:9300
  volumes:
   - ./elasticsearch/master/conf/es-master.yml:/usr/share/elasticsearch/config/elasticsearch.yml
   - ./elasticsearch/master/data:/usr/share/elasticsearch/data
   - ./elasticsearch/master/logs:/usr/share/elasticsearch/logs
  environment:
   - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

 es-slave1:
  container_name: es-slave1
  image: elasticsearch:7.5.1
  restart: always
  ports:
   - 9201:9200
   - 9301:9300
  volumes:
   - ./elasticsearch/slave1/conf/es-slave1.yml:/usr/share/elasticsearch/config/elasticsearch.yml
   - ./elasticsearch/slave1/data:/usr/share/elasticsearch/data
   - ./elasticsearch/slave1/logs:/usr/share/elasticsearch/logs
  environment:
   - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

 es-slave2:
  container_name: es-slave2
  image: elasticsearch:7.5.1
  restart: always
  ports:
   - 9202:9200
   - 9302:9300
  volumes:
   - ./elasticsearch/slave2/conf/es-slave2.yml:/usr/share/elasticsearch/config/elasticsearch.yml
   - ./elasticsearch/slave2/data:/usr/share/elasticsearch/data
   - ./elasticsearch/slave2/logs:/usr/share/elasticsearch/logs
  environment:
   - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

 kibana:
  container_name: kibana
  hostname: kibana
  image: kibana:7.5.1
  restart: always
  ports:
   - 5601:5601
  volumes:
   - ./kibana/conf/kibana.yml:/usr/share/kibana/config/kibana.yml
  environment:
   - elasticsearch.hosts=http://es-master:9200
  depends_on:
   - es-master
   - es-slave1
   - es-slave2

 # filebeat:
 #  # 容器名稱
 #  container_name: filebeat
 #  # 主機名稱
 #  hostname: filebeat
 #  # 鏡像
 #  image: docker.elastic.co/beats/filebeat:7.5.1
 #  # 重啟機制
 #  restart: always
 #  # 持久化掛載
 #  volumes:
 #   - ./filebeat/conf/filebeat.yml:/usr/share/filebeat/filebeat.yml
 #   # 映射到容器中[作為數(shù)據(jù)源]
 #   - ./logs:/home/project/spring-boot-elasticsearch/logs
 #   - ./filebeat/logs:/usr/share/filebeat/logs
 #   - ./filebeat/data:/usr/share/filebeat/data
 #  # 將指定容器連接到當(dāng)前連接，可以設(shè)置別名，避免ip方式導(dǎo)致的容器重啟動態(tài)改變的無法連接情況
 #  links:
 #   - logstash
 #  # 依賴服務(wù)[可無]
 #  depends_on:
 #   - es-master
 #   - es-slave1
 #   - es-slave2

 logstash:
  container_name: logstash
  hostname: logstash
  image: logstash:7.5.1
  command: logstash -f ./conf/logstash-filebeat.conf
  restart: always
  volumes:
   # 映射到容器中
   - ./logstash/conf/logstash-filebeat.conf:/usr/share/logstash/conf/logstash-filebeat.conf
   - ./logstash/ssl:/usr/share/logstash/ssl
  environment:
   - elasticsearch.hosts=http://es-master:9200
   # 解決logstash監(jiān)控連接報錯
   - xpack.monitoring.elasticsearch.hosts=http://es-master:9200
  ports:
   - 5044:5044
  depends_on:
   - es-master
   - es-slave1
   - es-slave2

  這里把 Filebeat 給注釋掉了，打算在各個需要搜集日志的服務(wù)器上面單獨部署 Filebeat。

記得把 Elasticsearch 的 data 和 logs 設(shè)置 chmod 777

es-master.yml

# 集群名稱
cluster.name: es-cluster
# 節(jié)點名稱
node.name: es-master
# 是否可以成為master節(jié)點
node.master: true
# 是否允許該節(jié)點存儲數(shù)據(jù),默認開啟
node.data: false
# 網(wǎng)絡(luò)綁定
network.host: 0.0.0.0
# 設(shè)置對外服務(wù)的http端口
http.port: 9200
# 設(shè)置節(jié)點間交互的tcp端口
transport.port: 9300
# 集群發(fā)現(xiàn)
discovery.seed_hosts:
 - es-master
 - es-slave1
 - es-slave2
# 手動指定可以成為 mater 的所有節(jié)點的 name 或者 ip，這些配置將會在第一次選舉中進行計算
cluster.initial_master_nodes:
 - es-master
# 支持跨域訪問
http.cors.enabled: true
http.cors.allow-origin: "*"
# 安全認證
xpack.security.enabled: false
#http.cors.allow-headers: "Authorization"

es-slave1.yml

# 集群名稱
cluster.name: es-cluster
# 節(jié)點名稱
node.name: es-slave1
# 是否可以成為master節(jié)點
node.master: true
# 是否允許該節(jié)點存儲數(shù)據(jù),默認開啟
node.data: true
# 網(wǎng)絡(luò)綁定
network.host: 0.0.0.0
# 設(shè)置對外服務(wù)的http端口
http.port: 9201
# 設(shè)置節(jié)點間交互的tcp端口
#transport.port: 9301
# 集群發(fā)現(xiàn)
discovery.seed_hosts:
 - es-master
 - es-slave1
 - es-slave2
# 手動指定可以成為 mater 的所有節(jié)點的 name 或者 ip，這些配置將會在第一次選舉中進行計算
cluster.initial_master_nodes:
 - es-master
# 支持跨域訪問
http.cors.enabled: true
http.cors.allow-origin: "*"
# 安全認證
xpack.security.enabled: false
#http.cors.allow-headers: "Authorization"

es-slave2.yml

# 集群名稱
cluster.name: es-cluster
# 節(jié)點名稱
node.name: es-slave2
# 是否可以成為master節(jié)點
node.master: true
# 是否允許該節(jié)點存儲數(shù)據(jù),默認開啟
node.data: true
# 網(wǎng)絡(luò)綁定
network.host: 0.0.0.0
# 設(shè)置對外服務(wù)的http端口
http.port: 9202
# 設(shè)置節(jié)點間交互的tcp端口
#transport.port: 9302
# 集群發(fā)現(xiàn)
discovery.seed_hosts:
 - es-master
 - es-slave1
 - es-slave2
# 手動指定可以成為 mater 的所有節(jié)點的 name 或者 ip，這些配置將會在第一次選舉中進行計算
cluster.initial_master_nodes:
 - es-master
# 支持跨域訪問
http.cors.enabled: true
http.cors.allow-origin: "*"
# 安全認證
xpack.security.enabled: false
#http.cors.allow-headers: "Authorization"

logstash-filebeat.conf

input {
  # 來源beats
  beats {
    # 端口
    port => "5044"
    ssl_certificate_authorities => ["/usr/share/logstash/ssl/ca.crt"]
    ssl_certificate => "/usr/share/logstash/ssl/server.crt"
    ssl_key => "/usr/share/logstash/ssl/server.key"
    ssl_verify_mode => "force_peer"
  }
}
# 分析、過濾插件，可以多個
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}"}
  }
  geoip {
    source => "clientip"
  }
}
output {
  # 選擇elasticsearch
  elasticsearch {
    hosts => ["http://es-master:9200"]
    index => "%{[fields][service]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

filebeat.yml

filebeat.inputs:
 - type: log
  enabled: true
  paths:
   # 當(dāng)前目錄下的所有.log文件
   - /root/tmp/logs/*.log
  fields:
   service: "our31-java"
  multiline.pattern: ^\[
  multiline.negate: true
  multiline.match: after
 - type: log
  enabled: true
  paths:
   # 當(dāng)前目錄下的所有.log文件
   - /root/tmp/log/*.log
  fields:
   service: "our31-nginx"

filebeat.config.modules:
 path: ${path.config}/modules.d/*.yml
 reload.enabled: false

# setup.template.settings:
#  index.number_of_shards: 1

# setup.dashboards.enabled: false

# setup.kibana:
#  host: "http://localhost:5601"

# 不直接傳輸至ES
#output.elasticsearch:
# hosts: ["http://es-master:9200"]
# index: "filebeat-%{[beat.version]}-%{+yyyy.MM.dd}"

setup.ilm.enabled: false

output.logstash:
 hosts: ["logstash.server.com:5044"]
 
 # Optional SSL. By default is off.
 # List of root certificates for HTTPS server verifications
 ssl.certificate_authorities: "./ssl/ca.crt"
 # Certificate for SSL client authentication
 ssl.certificate: "./ssl/client.crt"
 # Client Certificate Key
 ssl.key: "./ssl/client.key"

# processors:
#  - add_host_metadata: ~
#  - add_cloud_metadata: ~

注意

生成證書，配置 SSL，讓 Filebeat 與 Logstash 之間建立 SSL。

#生成ca私鑰
openssl genrsa 2048 > ca.key
 
#使用ca私鑰建立ca證書
openssl req -new -x509 -nodes -key ca.key -subj /CN=elkCA\ CA/OU=Development\ group/O=HomeIT\ SIA/DC=elk/DC=com > ca.crt
 
#生成服務(wù)器csr證書請求文件
openssl req -newkey rsa:2048 -nodes -keyout server.key -subj /CN=logstash.server.com/OU=Development\ group/O=Home\ SIA/DC=elk/DC=com > server.csr
 
#使用ca證書與私鑰簽發(fā)服務(wù)器證書
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -set_serial 01 > server.crt
 
#生成客戶端csr證書請求文件
openssl req -newkey rsa:2048 -nodes -keyout client.key -subj /CN=filebeat.client.com/OU=Development\ group/O=Home\ SIA/DC=elk/DC=com > client.csr
 
#使用ca證書與私鑰簽發(fā)客戶端證書
openssl x509 -req -in client.csr -CA ca.crt -CAkey ca.key -set_serial 01 > client.crt

  證書記得放到對應(yīng)的文件夾中。

Filebeat 中 output.logstash.hosts 配置的域名要與證書相符。

根據(jù)不同服務(wù)器、不同服務(wù)、不同日期動態(tài)生成索引

  上面的這張圖片中，加上了一些自定義屬性，這些屬性會傳遞到 Logstash 中，Logstash 會拿到這些屬性動態(tài)的向 Elasticsearch 中創(chuàng)建索引，如下圖：

詳細介紹看官方文檔，metadata，動態(tài)索引生成。

  這里本來想使用 indices 來動態(tài)生成索引，但是根據(jù)官方配置，并沒有成功，哪位兄弟知道可以告知下為什么。

利用 Nginx Http Basic Authorization 讓 Kibana 需要登錄

  先使用工具 htpasswd 生成用戶信息

$ yum -y install httpd-tools

  創(chuàng)建新密碼文件

創(chuàng)建新密碼文件

  追加用戶信息：

追加用戶信息

  最后配置好 Nginx 即可：

server {
  ......
  
  auth_basic "Kibana Auth";
  auth_basic_user_file /usr/local/nginx/pwd/kibana/passwd;
  
  ......
}

單獨啟動 Filebeat 的方式

$ nohup ./filebeat 2>&1 &

啟動 Docker Compose

  在 docker-compose.yml 所在目錄執(zhí)行：

$ docker-compose up --build -d

到此這篇關(guān)于Docker Compose一鍵ELK部署的方法實現(xiàn)的文章就介紹到這了,更多相關(guān)Docker Compose ELK部署內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

  • CentOS?7.9?安裝?docker20.10.12的過程解析

    CentOS?7.9?安裝?docker20.10.12的過程解析

    這篇文章主要介紹了CentOS?7.9?安裝?docker20.10.12?的相關(guān)資料,安裝軟件包時卸載舊軟件包，如果已經(jīng)安裝這些程序，請卸載他們以及相關(guān)的依賴項，本文給大家介紹的非常詳細，需要的朋友可以參考下
    2022-10-10
  • Docker容器動態(tài)加載掛載目錄的實踐

    Docker容器動態(tài)加載掛載目錄的實踐

    本文主要介紹了Docker容器中動態(tài)加載掛載目錄的實踐,通過掛載目錄,可以將主機上的文件或目錄與容器中的文件或目錄進行關(guān)聯(lián),實現(xiàn)應(yīng)用程序的靈活性和可擴展性,這種方法可以避免容器重啟,減少應(yīng)用程序的停機時間,并簡化應(yīng)用程序的部署和管理,使應(yīng)用程序的遷移和擴展更加容易
    2024-10-10
  • 在Docker中跑Hadoop與鏡像制作方法

    在Docker中跑Hadoop與鏡像制作方法

    這篇文章主要介紹了在Docker中跑Hadoop與鏡像制作方法，本文通過實例代碼和截圖的形式給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-11-11
  • Docker鏡像的制作與使用淺析

    Docker鏡像的制作與使用淺析

    這篇文章主要介紹了Docker鏡像的制作與使用淺析的相關(guān)資料,需要的朋友可以參考下
    2022-11-11
  • DOCKERFILE學(xué)習(xí)及使用注意事項

    DOCKERFILE學(xué)習(xí)及使用注意事項

    Dockerfile 由一行行命令語句組成，并且支持以 # 開頭的注釋行。一般的，Dockerfile分為四部分：基礎(chǔ)鏡像信息、維護者信息、鏡像操作指令、容器啟動時執(zhí)行指令
    2017-02-02
  • 詳解Docker Registry之刪除鏡像、垃圾回收

    詳解Docker Registry之刪除鏡像、垃圾回收

    本篇文章主要介紹了詳解Docker Registry之刪除鏡像、垃圾回收，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
    2017-04-04
  • 如何使用Docker快速搭建服務(wù)器環(huán)境

    如何使用Docker快速搭建服務(wù)器環(huán)境

    這篇文章主要介紹了使用Docker快速搭建服務(wù)器環(huán)境的詳細步驟，本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-10-10
  • Docker?部署?vue?項目的詳細流程

    Docker?部署?vue?項目的詳細流程

    使用Docker配合Nginx部署Vue3項目涉及多個步驟：首先安裝Nginx,然后創(chuàng)建掛載目錄及配置文件；接著打包Vue項目并上傳至服務(wù)器；最后創(chuàng)建Dockerfile,構(gòu)建鏡像并啟動容器,部署完成后,通過IP訪問應(yīng)用以驗證是否成功
    2024-09-09
  • docker靈活的構(gòu)建PHP環(huán)境的實現(xiàn)

    docker靈活的構(gòu)建PHP環(huán)境的實現(xiàn)

    這篇文章主要介紹了docker靈活的構(gòu)建PHP環(huán)境的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-12-12
  • Docker鏡像創(chuàng)建的方法

    Docker鏡像創(chuàng)建的方法

    本文給大家匯總介紹了docker中鏡像創(chuàng)建的幾種方法，包括基于已有鏡像創(chuàng)建、基于本地模板創(chuàng)建以及基于Dockerfile創(chuàng)建。有需要的小伙伴可以參考下
    2018-08-08

最新評論