摘抄引用

Docker鏡像選型

Kafka是沒(méi)有官方Docker鏡像的，所以要么自己寫(xiě)一個(gè)Dockerfile，要么用第三方已經(jīng)構(gòu)建好的。

自己寫(xiě)一個(gè)Dockerfile不是不可以，但不符合我要“最快”的目標(biāo)，所以用第三方已經(jīng)構(gòu)建好的鏡像那是最快的。

由于是第三方鏡像，希望已經(jīng)用過(guò)的人越多越好，這樣坑相對(duì)會(huì)比較少一些。

帶著上面的要求，開(kāi)始尋找合適的第三方鏡像，比較出名的有以下幾個(gè)：

1. wurstmeister/kafka特點(diǎn)：star數(shù)最多，版本更新到 Kafka 1.0，zookeeper與kafka分開(kāi)于不同鏡像。
2. spotify/kafka特點(diǎn)：star數(shù)較多，有很多文章或教程推薦，zookeeper與kafka置于同一鏡像中；但kafka版本較老（還停留在0.10.1.0）。
3. confluent/kafka背景：Confluent是書(shū)中提到的哪位開(kāi)發(fā)Kafka的Jay Kreps從LinkedLn離職后創(chuàng)立的新公司，Confluent Platform是一個(gè)流數(shù)據(jù)平臺(tái)，圍繞Kafka打造了一系列的產(chǎn)品。特點(diǎn)：大咖操刀，文檔詳盡，但是也和Confluent Platform進(jìn)行了捆綁。

上述三個(gè)項(xiàng)目中，最終選定使用wurstmeister/kafka，star最多，版本一直保持更新，用起來(lái)應(yīng)該比較放心。

wurstmeister/kafka鏡像簡(jiǎn)介的先決條件

• 安裝docker-compose
• 在docker-compose.yml配置文件中修改KAFKA_ADVERTISED_HOST_NAME去匹配你的docker主機(jī)IP（注意：如果你想要運(yùn)行多broker集群，不要使用localhost或127.0.0.1作為主機(jī)ip）
• 如果你想要添加自定義的Kafka參數(shù)，只需要將它們添加到docker-compose.yml。例如：
  • 增加message.max.bytes參數(shù)，添加KAFKA_MESSAGE_MAX_BYTES: 2000000到environment部分。
  • 關(guān)閉自動(dòng)主題創(chuàng)建集，配置KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'false'
• Kafka可以通過(guò)添加環(huán)境變量前綴LOG4J_來(lái)自定義log4j用法。這些環(huán)境變量會(huì)映射到log4j.properties。例如：LOG4J_LOGGER_KAFKA-AUTHORIZER_LOGGER=DEBUG,authorizerAppender

**注意：**配置網(wǎng)絡(luò)有幾個(gè)“問(wèn)題”。如果你不知道的要求是什么，請(qǐng)查看連接指南

簡(jiǎn)單使用

啟動(dòng)集群：

• docker-compose up -d

添加更多brokers

• docker-compose scale kafka=3

銷(xiāo)毀一個(gè)集群

• docker-compose stop

安裝過(guò)程

1. 安裝Docker（略）

2. 安裝Docker Compose（略）

3. 從github拉取最新打包資源

# 克隆docker制作腳本
git clone https://github.com/wurstmeister/kafka-docker.git

# 進(jìn)入目錄查看目錄文件
cd kafka-docker

# 查看所有標(biāo)簽，找到最新版本
git tag

# 切換到最新版本
git checkout <last_tag_name>

kafka-docker倉(cāng)庫(kù)目錄文件展示：

[root@jiewli kafka-docker]# ll
總用量 72
-rwxr-xr-x. 1 root root   210 7月   7 17:18 broker-list.sh
-rw-r--r--. 1 root root   969 7月   7 17:18 CHANGELOG.md
-rwxr-xr-x. 1 root root  1221 7月   7 17:18 create-topics.sh
-rw-r--r--. 1 root root   367 7月   7 17:08 docker-compose-single-broker.yml
-rw-r--r--. 1 root root   705 7月   7 17:08 docker-compose-swarm.yml
-rw-r--r--. 1 root root   324 7月   7 17:18 docker-compose.yml
-rw-r--r--. 1 root root  1132 7月   7 17:18 Dockerfile
-rwxr-xr-x. 1 root root   395 7月   7 17:18 download-kafka.sh
-rw-r--r--. 1 root root 11325 7月   7 17:08 LICENSE
-rw-r--r--. 1 root root  9887 7月   7 17:18 README.md
-rwxr-xr-x. 1 root root  4591 7月   7 17:18 start-kafka.sh
-rwxr-xr-x. 1 root root   131 7月   7 17:08 start-kafka-shell.sh
drwxr-xr-x. 2 root root  4096 7月   7 17:18 test

4. 更新docker-compose.yml中你docker主機(jī)ip

通過(guò)命令vim docker-compose.yml查看倉(cāng)庫(kù)目錄中的docker-compose.yml配置文件。

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    build: .
    ports:
      - "9092"
    environment:
      DOCKER_API_VERSION: 1.22
      KAFKA_ADVERTISED_HOST_NAME: 192.168.99.100
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

重要：

kafka 0.9.x以后的版本新增了advertised.listeners配置

kafka 0.9.x以后的版本不要使用 advertised.host.name 和 advertised.host.port 已經(jīng) deprecated
 

host.name 和 port 為 deprecated，使用 listeners 代替

所以，KAFKA_ADVERTISED_HOST_NAME配置也要改成 KAFKA_ADVERTISED_LISTENERS， 而后者要求必須配置 KAFKA_LISTENERS，不然會(huì)拋異常：

ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    build: .
    ports:
      - "9092"
    environment:
      DOCKER_API_VERSION: 1.22
      KAFKA_LISTENERS: PLAINTEXT://:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.99.100:9094
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

將上面KAFKA_ADVERTISED_HOST_NAME改為你的docker主機(jī)ip。

如果你想要添加自定義的Kafka參數(shù)，只需要將它們添加到docker-compose.yml。例如：

• 增加message.max.bytes參數(shù)，添加KAFKA_MESSAGE_MAX_BYTES: 2000000到environment部分。
• 關(guān)閉自動(dòng)主題創(chuàng)建集，配置KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'false'

啟動(dòng)失?。?/p>

[root@jiewli kafka-docker]# docker logs -f --tail=300 kafka-docker_kafka_1
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS
ERROR: Missing environment variable KAFKA_LISTENERS. Must be specified when using KAFKA_ADVERTISED_LISTENERS

5. 啟動(dòng)集群

$ docker-compose up -d

例如，啟動(dòng)一個(gè)有兩個(gè)broker的的集群

$ docker-compose scale kafka=2

這會(huì)啟動(dòng)一個(gè)單獨(dú)的zookeeper實(shí)例，和兩個(gè)Kafka實(shí)例。你可以使用docker-compose ps命令去顯示正在運(yùn)行的實(shí)例。

如果你想去添加更多的Kafka brokers，只需要通過(guò)命令docker-compose scale kafka=n增加值。

5.1 當(dāng)執(zhí)行docker-compose -f docker-compose.yml up -d命令遇到錯(cuò)誤

wget: server returned error: HTTP/1.1 404 Not Found
The command '/bin/sh -c apk add --no-cache bash curl jq docker  && mkdir /opt  && chmod a+x /tmp/*.sh  && mv /tmp/start-kafka.sh /tmp/broker-list.sh /tmp/create-topics.sh /usr/bin  && sync && /tmp/download-kafka.sh  && tar xfz /tmp/kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz -C /opt  && rm /tmp/kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz  && ln -s /opt/kafka_${SCALA_VERSION}-${KAFKA_VERSION} /opt/kafka  && rm /tmp/*  && wget https://github.com/sgerrand/alpine-pkg-glibc/releases/download/${GLIBC_VERSION}/glibc-${GLIBC_VERSION}.apk  && apk add --no-cache --allow-untrusted glibc-${GLIBC_VERSION}.apk  && rm glibc-${GLIBC_VERSION}.apk' returned a non-zero code: 1
ERROR: Service 'kafka' failed to build

根據(jù)提示，是wget命令下載某個(gè)文件的時(shí)候遇到了404。

5.2 分析腳本執(zhí)行過(guò)程

從Dockerfile的RUN指令中可以找到：

經(jīng)過(guò)一番排查，最終定位到download-kafka.sh這個(gè)腳本中的wget命令，我增加一行echo命令，將整個(gè)wget命令打印出來(lái)看看：

# echo打印結(jié)果
wget -q "https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz" -O "/tmp/kafka_2.12-1.1.0.tgz"

根據(jù)鏈接查找這個(gè)文件，發(fā)現(xiàn)是在“清華大學(xué)開(kāi)源軟件鏡像站”中下載的，但是1.1.0這個(gè)目錄都沒(méi)有了，取而代之的是2.x.x的目錄了。

下載不了，很明顯這個(gè)版本太落后了。一看倉(cāng)庫(kù)git-tag的創(chuàng)建時(shí)間居然是2018年，已經(jīng)三年多沒(méi)有發(fā)布新的tag版本了。

5.3 使用master分支的構(gòu)建腳本啟動(dòng)2.x.x版本的kafka

那么回到master分支看看，一看最新提交，2021年6月有提交過(guò)。仔細(xì)研究了一下master分支的腳本和Dockerfile，其實(shí)作者早已經(jīng)將kafka版本調(diào)整到2.x.x，并且修改了下載地址。

那么切換到master分支后，重新使用命令$ docker-compose up -d啟動(dòng)kafka集群就可以了。

6. 開(kāi)啟單個(gè)節(jié)點(diǎn)

docker-compose -f docker-compose-single-broker.yml up -d

開(kāi)啟容器如下所示：

[root@jiewli ~]# docker ps
CONTAINER ID   IMAGE                       COMMAND                  CREATED         STATUS       PORTS                                                NAMES
43fb3efd832f   kafka-docker_kafka          "start-kafka.sh"         24 hours ago    Up 4 hours   0.0.0.0:9092->9092/tcp                               kafka-docker_kafka_1
b8bc06090259   wurstmeister/zookeeper      "/bin/sh -c '/usr/sb…"   24 hours ago    Up 4 hours   22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   kafka-docker_zookeeper_1

Kafka Shell

進(jìn)入docker容器交互命令行

docker exec -it kafka-docker_kafka_1 /bin/bash

查看 kafka 安裝目錄，找到腳本位置

bash-5.1# echo $KAFKA_HOME
/opt/kafka
bash-5.1# cd $KAFKA_HOME
bash-5.1# ls
LICENSE    NOTICE     bin        config     libs       licenses   logs       site-docs

默認(rèn)情況下，kafka 安裝目錄是 /opt/kafka

你可以通過(guò)Kafka Shell與你的Kafka集群進(jìn)行交互。

$ $KAFKA_HOME/bin/start-kafka-shell.sh <DOCKER_HOST_IP> <ZK_HOST:ZK_PORT>

測(cè)試

測(cè)試你的安裝步驟。

啟動(dòng)一個(gè)shell終端，創(chuàng)建一個(gè)topic和啟動(dòng)一個(gè)生產(chǎn)者。

$ $KAFKA_HOME/bin/kafka-topics.sh --create --topic topic \
--partitions 4 --zookeeper $ZK --replication-factor 2

$ $KAFKA_HOME/bin/kafka-topics.sh --describe --topic topic --zookeeper $ZK

$ $KAFKA_HOME/bin/kafka-console-producer.sh --topic=topic \
--broker-list=`broker-list.sh`

啟動(dòng)另一個(gè)shell終端，并啟動(dòng)一個(gè)消費(fèi)者。

$ $KAFKA_HOME/bin/kafka-console-consumer.sh --topic=topic --zookeeper=$ZK

在MAC電腦上運(yùn)行Kafka-docker

安裝Docker Toolbox，并將docker-machine ip命令返回的ip配置到KAFKA_ADVERTISED_HOST_NAME

故障排除

• 默認(rèn)情況下，Kafka broker使用1GB內(nèi)存，因此如果您在啟動(dòng)代理是遇到問(wèn)題，請(qǐng)檢查docker-compose logs/docker logs查找容器并確保主機(jī)上有足夠的可用內(nèi)存。
• 如果要運(yùn)行多個(gè)broker，請(qǐng)不要使用localhost或127.0.0.1作為主機(jī)IP，否則broker將無(wú)法通信。

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論