K8S?使用EFK日志的統(tǒng)一管理(詳細步驟)

更新時間：2025年01月26日 09:53:04 作者：Dusk_橙子

在Kubernetes中,EFK是一種常見的日志統(tǒng)一管理方案,EFK堆棧允許你收集、存儲、搜素、分析和可視化容器應用程序的日志,下面是如何在Kubernetes中使用EFK實現(xiàn)日志統(tǒng)一管理的詳細步驟,感興趣的朋友一起看看吧

部署Elasticsearch

elasticsearch是一個分布式、RESTful風格的搜索和分析引擎，能夠解決越來越多用例的查詢語言，它通常用于日志和事件數(shù)據(jù)分析。
首先，你需要再kubernetes集群中部署elasticsearch。這可以通過使用官方的elasticsearch helm chart或自定義yaml配置文件來完成。確保你的elasticsearch集群有足夠的資源，并且已經正確配置以滿足你的日志存儲或查詢需求。

部署Fluentd

Fluentd是一個開源的數(shù)據(jù)收集器，用于統(tǒng)一日志管理。在Kubernetes中，F(xiàn)luentd通常違DaemonSet運行，在每個節(jié)點上收集容器日志。
部署Fluentd涉及到創(chuàng)建一個DaemonSet資源對象，該對象會在每個節(jié)點上運行一個Fluentd實例。Fluentd的配置文件定義了日志的來源、過濾和處理方式，以及日志發(fā)送到Elasticsearch的方式。
配置方式如下：

apiVersion: apps/v1  
kind: DaemonSet  
metadata:  
  name: fluentd-elasticsearch  
namespace: kube-system  
labels:  
	k8s-app: fluentd-logging  
spec:  
  selector:  
    matchLabels:  
     name: fluentd-elasticsearch  
template:  
  metadata:  
    labels:  
      name: fluentd-elasticsearch  
  spec:  
    containers:  
    - name: fluentd-elasticsearch  
      image: fluent/fluentd-kubernetes-daemonset:v1.11-debian-elasticsearch-1.0  
      env:  
        - name:  FLUENTD_ELASTICSEARCH_HOST  
          value: "elasticsearch-master.kube-system.svc:9200"  
        - name:  FLUENTD_ELASTICSEARCH_SCHEME  
          value: "http"  
      volumeMounts:  
      - name: varlog  
        mountPath: /var/log  
      - name: varlibdockercontainers  
        mountPath: /var/lib/docker/containers  
        readOnly: true  
    terminationGracePeriodSeconds: 30  
    volumes:  
    - name: varlog  
      hostPath:  
        path: /var/log  
    - name: varlibdockercontainers  
      hostPath:  
        path: /var/lib/docker/containers

在上面的配置中，F(xiàn)luentd容器被配置為從主機的/var/log和/var/lib/docker/containers路徑收集日志，并將它們發(fā)送到Elasticsearch集群。

部署Kibana

kibana是一個web應用程序，用于搜索、查看和交互存儲在elasticsearch索引中的日志數(shù)據(jù)。
部署kibana可以通過使用官方的Kibana Helm Chart或自定義YAML配置文件來完成。Kibana的配置通常非常簡單。主要用于指定他要連接的elasticsearch實例。
Kibana的Deployment示例配置：

apiVersion: apps/v1  
kind: Deployment  
metadata:  
  name: kibana  
  namespace: kube-system  
spec:  
  replicas: 1  
  selector:  
    matchLabels:  
      app: kibana  
  template:  
    metadata:  
      labels:  
        app: kibana  
    spec:  
      containers:  
      - name: kibana  
        image: docker.elastic.co/kibana/kibana:7.10.0  
        ports:  
        - containerPort: 5601  
        env:  
        - name: ELASTICSEARCH_URL  
          value: http://elasticsearch-master.kube-system.svc:9200  
        - name: ELASTICSEARCH_HOSTS  
          value: http://elasticsearch-master.kube-system.svc:9200

在這個配置中，Kibana容器被配置為連接到名為elasticsearch-master的elasticsearch服務。