linux環(huán)境kafka安裝及配置方式
下載資源
1、linux環(huán)境安裝kafka,需要預(yù)先準(zhǔn)備相關(guān)資源，我使用的是kafka_2.12-2.5.1版本，下載路徑為：http://archive.apache.org/dist/kafka/2.5.1/kafka_2.12-2.5.1.tgz，也可以通過命令wget http://archive.apache.org/dist/kafka/2.5.1/kafka_2.12-2.5.1.tgz進(jìn)行資源獲?。?/p>
2、獲取并安裝zookeeper:(以apache-zookeeper-3.6.1-bin.tar.gz為例)，官網(wǎng)：https://zookeeper.apache.org/。
3、將下載好的kafka及zookeeper壓縮包上傳到虛擬機(jī)服務(wù)器，放置到/usr/local/目錄中：
安裝zookeeper
1、解壓apache-zookeeper-3.6.1-bin.tar.gz壓縮包,并重命名
#進(jìn)入到壓縮包存放路徑 cd /usr/local/ #解壓 tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz #重命名 mv apache-zookeeper-3.6.1-bin zookeeper-3.6.1
2、配置啟動(dòng)
#進(jìn)入配置目錄 cd zookeeper-3.6.1/conf/ #復(fù)制配置文件，不直接修改源文件用于備份使用 cp zoo_sample.cfg zoo.cfg #編輯zoo.cfg文件 vi zoo.cfg
修改zoo.cfg中的內(nèi)容為,主要修改dataDir路徑以及端口號(hào)：
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/zookeeper-3.6.1/data/ # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1 ## Metrics Providers # # https://prometheus.io Metrics Exporter #metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider #metricsProvider.httpPort=7000 #metricsProvider.exportJvmInfo=true
3、啟動(dòng)zookeeper
sh /usr/local/zookeeper-3.6.1/bin/zkServer.sh start
4、查看zookeeper狀態(tài)
sh /usr/local/zookeeper-3.6.1/bin/zkServer.sh status
另：停止zookeeper：
sh /usr/local/zookeeper-3.6.1/bin/zkServer.sh stop
以上為單體zookeeper安裝及啟動(dòng)過程，以下為zookeeper集群的搭建方式：
與單體的搭建方式類似，只需要重復(fù)類似單體的部署模式，集群最少使用3臺(tái)，以下大概介紹相應(yīng)的部署方式：
1、首先將解壓好的文件夾復(fù)制并重命名
#創(chuàng)建集群目錄 mkdir zookeeper-cluster #將解壓好的zookeeper目錄復(fù)制到集群目錄中 cp -r zookeeper-3.6.1 zookeeper-cluster/ #進(jìn)入集群目錄中 cd zookeeper-cluster/ #重命名復(fù)制過來的目錄為節(jié)點(diǎn)1目錄，同理復(fù)制出節(jié)點(diǎn)2和節(jié)點(diǎn)3的目錄 mv zookeeper-3.6.1 zookeeper-1 cp -r zookeeper-1 ./zookeeper-2 cp -r zookeeper-1 ./zookeeper-3
以下為復(fù)制完成后的目錄結(jié)構(gòu)：
2、分別配置相關(guān)的配置文件，注意節(jié)點(diǎn)名稱及dataDir路徑不要沖突
vi zookeeper-1/conf/zoo.cfg vi zookeeper-2/conf/zoo.cfg vi zookeeper-3/conf/zoo.cfg
3、分別創(chuàng)建myid文件到data目錄中
echo "1" > zookeeper-1/data/myid echo "2" > zookeeper-2/data/myid echo "3" > zookeeper-3/data/myid
修改每個(gè)節(jié)點(diǎn)中的dataDir，clientPort的值，并增加節(jié)點(diǎn)之間的關(guān)聯(lián)屬性，以下是節(jié)點(diǎn)1的示例，其他節(jié)點(diǎn)以此類推：
配置完成后分別啟動(dòng)三個(gè)節(jié)點(diǎn)：
/usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start
集群?jiǎn)?dòng)成功
連接測(cè)試，zkCli.sh腳本可以連接集群測(cè)試是否啟動(dòng)成功：
如果（kerberos服務(wù)已經(jīng)安裝并配置完成）開啟Kerberos認(rèn)證需要進(jìn)行以下操作（以單體zookeeper為例）：
1、生成keytab文件：
#登錄kerberos的命令行界面 kadmin.local #生成隨機(jī)密碼 addprinc -randkey zookeeper/hadoop.test.com@TEST.COM #生成keytab文件 ktadd -k /etc/security/keytabs/zookeeper.keytab zookeeper/hadoop.test.com@TEST.COM #退出命令行 exit #查看生成的keytab文件的用戶 klist -ket /etc/security/keytabs/zookeeper.keytab
以下是執(zhí)行過程示例：
2、生成jaas文件：
vi /usr/local/zookeeper-3.6.1/conf/jaas.conf
jaas.conf文件內(nèi)容，注意keyTab屬性位置及principal用戶名配置正確
Server{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
keyTab="/etc/security/keytabs/zookeeper.keytab"
principal="zookeeper/hadoop.test.com@TEST.COM"
useTicketCache=false;
};
Client {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/etc/security/keytabs/zookeeper.keytab"
storeKey=true
useTicketCache=false
principal="zookeeper/hadoop.test.com@TEST.COM";
};
3、修改配置文件zoo.cfg添加配置，在結(jié)尾加入以下配置：
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl jaasLoginRenew=3600000
4、添加java.env文件，并寫入相關(guān)的內(nèi)容，注意-Djava.security.auth.login.config為生成的jaas.conf文件的路徑：
echo 'export JVMFLAGS=" -Dsun.security.krb5.debug=true -Djava.security.auth.login.config=/usr/local/zookeeper-3.6.1/conf/jaas.conf"' > /usr/local/zookeeper-3.6.1/conf/java.env
5、啟動(dòng)驗(yàn)證，啟動(dòng)成功，并連接成功
kafka安裝及配置
kafka安裝（單體）
1、解壓安裝包
#進(jìn)入壓縮包存放路徑 cd /usr/local/ #解壓壓縮包 tar -zxvf kafka_2.12-2.5.1.tgz #進(jìn)入解壓后目錄中 cd kafka_2.12-2.5.1
2、修改配置
#修改服務(wù)配置文件 vi /usr/local/kafka_2.12-2.5.1/config/server.properties
配置中的內(nèi)容需要配置：
listeners=PLAINTEXT://192.168.4.130:9092 zookeeper.connect=192.168.4.130:2181
配置完成后(前提：zookeeper已正常啟動(dòng))，即可啟動(dòng)
服務(wù)端啟動(dòng)命令(不加-daemon前臺(tái)啟動(dòng)，關(guān)閉即停止服務(wù)，加了-daemon后臺(tái)啟動(dòng))：
#啟動(dòng)命令 /usr/local/kafka_2.12-2.5.1/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.12-2.5.1/config/server.properties #停止命令 /usr/local/kafka_2.12-2.5.1/bin/zookeeper-server-stop.sh
查看服務(wù)日志命令：
tail -f /usr/local/kafka_2.12-2.5.1/logs/server.log
以上是kafka單體的配置及啟動(dòng)方式。
kafka集群配置方式
本次主要記錄同一臺(tái)服務(wù)器上搭建集群，類似于單體的搭建方式，我們只需要配置每個(gè)節(jié)點(diǎn)的配置文件，然后分別啟動(dòng)即可，如果是分不同的服務(wù)器搭建，類似于每臺(tái)服務(wù)器上搭建單體，然后在配置文件中增加相應(yīng)集群相關(guān)的配置項(xiàng)即可使用了，以下默認(rèn)已經(jīng)將壓縮包解壓好后的操作。
1、復(fù)制server.properties文件并重命名，復(fù)制出3(集群最好大于等于三個(gè)節(jié)點(diǎn))份來
#復(fù)制配置文件 cp /usr/local/kafka_2.12-2.5.1/config/server.properties /usr/local/kafka_2.12-2.5.1/config/server-1.properties cp /usr/local/kafka_2.12-2.5.1/config/server.properties /usr/local/kafka_2.12-2.5.1/config/server-2.properties cp /usr/local/kafka_2.12-2.5.1/config/server.properties /usr/local/kafka_2.12-2.5.1/config/server-3.properties #編輯配置文件 vi /usr/local/kafka_2.12-2.5.1/config/server-1.properties vi /usr/local/kafka_2.12-2.5.1/config/server-2.properties vi /usr/local/kafka_2.12-2.5.1/config/server-3.properties
之后分別配置復(fù)制出來的server-1.properties，server-2.properties，server-3.properties三個(gè)配置文件，分別配置以下配置
#節(jié)點(diǎn)id，不同的節(jié)點(diǎn)用不同的數(shù)字表示 broker.id=1 #對(duì)外的ip及端口，端口號(hào)每個(gè)文件不要用同一個(gè)，我使用的分別是9091,9092,9093 listeners=PLAINTEXT://192.168.4.130:9091 #數(shù)據(jù)存放位置，每個(gè)節(jié)點(diǎn)一個(gè)如/kafka-logs-1，/kafka-logs-2，/kafka-logs-3等，不同節(jié)點(diǎn)使用文件不可重復(fù)，如果重復(fù)了容易啟動(dòng)失敗 log.dirs=/usr/local/kafka_2.12-2.5.1/data/cluster/kafka-logs-1 #填zookeeper的地址，多個(gè)用，隔開 zookeeper.connect=192.168.4.130:2181
分別配置好之后可以使用啟動(dòng)命令分別啟動(dòng)相關(guān)節(jié)點(diǎn)
#啟動(dòng)節(jié)點(diǎn)1 /usr/local/kafka_2.12-2.5.1/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.12-2.5.1/config/server-1.properties #啟動(dòng)節(jié)點(diǎn)2 /usr/local/kafka_2.12-2.5.1/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.12-2.5.1/config/server-2.properties #啟動(dòng)節(jié)點(diǎn)3 /usr/local/kafka_2.12-2.5.1/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.12-2.5.1/config/server-3.properties #查看服務(wù)日志 tail -f /usr/local/kafka_2.12-2.5.1/logs/server.log
啟動(dòng)成功日志：
注：有時(shí)存在kafka啟動(dòng)失敗報(bào)zookeeper連接超時(shí)拒絕連接時(shí)，可能引起的原因是防火墻沒有關(guān)閉，關(guān)閉防火墻的命令，也有可能是/etc/hosts文件配置不對(duì)引起的，遇到該問題可以多向考慮。
#方式一 #停止防火墻 service firewalld stop #禁用防火墻 systemctl disable firewalld #方式二： chkconfig iptables off
另：如果之前啟動(dòng)過zookeeper或者kafka,但是數(shù)據(jù)目錄沒有清除過的話也會(huì)影響我們的啟動(dòng)，一定要仔細(xì)核對(duì)好。
kafka開啟kerberos認(rèn)證
如果我們搭建的kafka(單體或集群)需要開啟kerberos認(rèn)證，可以在安裝的時(shí)候這樣配置：
1、生成keytab文件：
#登錄kerberos的命令行界面 kadmin.local #生成隨機(jī)密碼 addprinc -randkey kafka/hadoop.test.com@TEST.COM #生成keytab文件 ktadd -k /etc/security/keytabs/kafka.keytab kafka/hadoop.test.com@TEST.COM #退出命令行 exit #查看生成的keytab文件的用戶 klist -ket /etc/security/keytabs/kafka.keytab
以下是生成過程示例：
2、生成jaas文件：
vi /usr/local/kafka_2.12-2.5.1/config/jaas.conf
jaas.conf文件內(nèi)容，注意keyTab屬性位置及principal用戶名配置正確
KafkaServer{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName="kafka"
keyTab="/etc/security/keytabs/kafka.keytab"
principal="kafka/hadoop.test.com@TEST.COM";
};
KafkaClient{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName="kafka"
keyTab="/etc/security/keytabs/kafka.keytab"
principal="kafka/hadoop.test.com@TEST.COM"
userTicketCache=true;
};
Client{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName="kafka"
keyTab="/etc/security/keytabs/kafka.keytab"
principal="kafka/hadoop.test.com@TEST.COM"
userTicketCache=true;
};3、修改kafka的配置文件,如果是單體僅需要修改一個(gè)，如果是集群，則需要修改每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的配置文件：
vi /usr/local/kafka_2.12-2.5.1/config/server.properties
配置文件中添加（配置）以下的屬性(非kerberos配置時(shí)需要的配置默認(rèn)需要配置好)
listeners=SASL_PLAINTEXT://172.168.4.130:9093 advertised.listeners=SASL_PLAINTEXT://172.168.4.130:9093 authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=GSSAPI sasl.enabled.mechanisms=GSSAPI sasl.kerberos.service.name=kafka kafka.security.protocol=SASL_PLAINTEXT super.users=User:kafka
4、修改kafka服務(wù)啟動(dòng)腳本，配置相關(guān)的jaas文件路徑
vi /usr/local/kafka_2.12-2.5.1/bin/kafka-server-start.sh
添加以下的內(nèi)容：
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/usr/local/kafka_2.12-2.5.1/config/jaas.conf"
添加示例：
注意：如果kafka連接時(shí)，生產(chǎn)者或消費(fèi)者連接開啟kerberos認(rèn)證的kafka服務(wù)器時(shí)，需要在相應(yīng)的腳本中也同樣添加該配置
#生產(chǎn)者連接腳本配置 vi /usr/local/kafka_2.12-2.5.1/bin/kafka-console-producer.sh #消費(fèi)者連接腳本配置 vi /usr/local/kafka_2.12-2.5.1/bin/kafka-console-consumer.sh #topic連接腳本配置 vi /usr/local/kafka_2.12-2.5.1/bin/kafka-topics.sh
同時(shí)消費(fèi)者或生產(chǎn)者的配置文件中需要增加以下配置：
security.protocol=SASL_PLAINTEXT sasl.mechanism=GSSAPI sasl.kerberos.service.name=kafka
添加示例（以生產(chǎn)者為例）：
啟動(dòng)kafka服務(wù)，連接并使用，參考普通kafka啟動(dòng)及連接相關(guān)命令。
kafka自帶zookeeper使用
注：kafka安裝包中也自帶了zookeeper,如果不想安裝zookeeper,可以使用kafka安裝包中自帶的zookeeper。
如果使用kafka安裝包中帶的zookeeper,需要配置解壓后目錄中的zookeeper.properties
vi /usr/local/kafka_2.12-2.5.1/config/zookeeper.properties
如果不需要修改端口可以默認(rèn)不修改，使用命令啟動(dòng)自帶zookeeper：
#啟動(dòng)zookeeper /usr/local/kafka_2.12-2.5.1/bin/zookeeper-server-start.sh -daemon /usr/local/kafka_2.12-2.5.1/config/zookeeper.properties #停止zookeeper /usr/local/kafka_2.12-2.5.1/bin/zookeeper-server-stop.sh
如果zookeeper需要開啟kerberos認(rèn)證需要給zookeeper.properties添加配置：
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl jaasLoginRenew=3600000
在啟動(dòng)腳本zookeeper-server-start.sh中添加如下配置,注意jaas.conf文件的路徑，jaas文件生成方式同上。
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/usr/local/zookeeper-3.6.1/conf/jaas.conf"
啟動(dòng)命令如上。
kafka常用命令
#創(chuàng)建主題 /usr/local/kafka_2.12-2.5.1/bin/kafka-topics.sh --create --zookeeper 192.168.4.130:2181 --replication-factor 1 --partitions 3 --topic test01 #查看主題列表 /usr/local/kafka_2.12-2.5.1/bin/kafka-topics.sh --list --zookeeper 192.168.4.130:2181/kafka #生產(chǎn)者連接并生產(chǎn)數(shù)據(jù) /usr/local/kafka_2.12-2.5.1/bin/kafka-console-producer.sh --broker-list 192.168.4.130:9092 --topic test01 --producer.config /usr/local/kafka_2.12-2.5.1/config/producer.properties #消費(fèi)者連接并消費(fèi)數(shù)據(jù) /usr/local/kafka_2.12-2.5.1/bin/kafka-console-consumer.sh --bootstrap-server 192.168.4.130:9092 --topic test01 --from-beginning --consumer.config /usr/local/kafka_2.12-2.5.1/config/consumer.properties #kafka添加消息寫入partition時(shí)間戳的方法 #Kafka消息的時(shí)間戳,在消息中增加了一個(gè)時(shí)間戳字段和時(shí)間戳類型。目前支持的時(shí)間戳類型有兩種： CreateTime 和 LogAppendTime 前者表示producer創(chuàng)建這條消息的時(shí)間；后者表示broker接收到這條消息的時(shí)間(嚴(yán)格來說，是leader broker將這條消息寫入到log的時(shí)間) /usr/local/kafka_2.12-2.5.1/bin/kafka-topics.sh --alter --topic test01 --zookeeper 192.168.4.130:2181 --config message.timestamp.type=LogAppendTime /usr/local/kafka_2.12-2.5.1/bin/kafka-console-consumer.sh --bootstrap-server 192.168.4.130:9092 --topic test01 --from-beginning --consumer.config /usr/local/kafka_2.12-2.5.1/config/consumer.properties --property print.timestamp=true #刪除主題內(nèi)的消息：kafka-delete-records --bootstrap-server <broker-host:port> --offset-json-file offsets.json #–bootstrap-server：需要連接的 brokers 地址； #–offset-json-file：包含刪除配置的 Json 文件。 /usr/local/kafka_2.12-2.5.1/bin/kafka-delete-records.sh --bootstrap-server 192.168.4.130:9092 --offset-json-file /usr/local/kafka_2.12-2.5.1/remove.json #刪除附加：移除kerberos開啟的server中的數(shù)據(jù)，同樣需要在相關(guān)配置文件中配置kerberos相關(guān)的配置，以及腳本中增加相關(guān)的配置 /usr/local/kafka_2.12-2.5.1/bin/kafka-delete-records.sh --bootstrap-server 192.168.4.130:9092 --command-config /usr/local/kafka_2.12-2.5.1/config/delete-kerb.properties --offset-json-file /usr/local/kafka_2.12-2.5.1/remove.json
關(guān)于移除數(shù)據(jù)的remove.json配置文件內(nèi)容：
{
"partitions": [
{"topic": "test01", "partition": 0, "offset": -1}
],
"version":1
}- topic:待刪除數(shù)據(jù)主題
- partition：待刪除的分區(qū)
- offset:刪除起始偏移量，設(shè)置為 -1，表示將刪除主題中所有數(shù)據(jù)。
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
linux運(yùn)維及配置工作中，常常會(huì)用到雙網(wǎng)卡綁定，這篇文章主要介紹了Linux雙網(wǎng)卡綁定腳本的方法示例，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-11-11
本地Windows遠(yuǎn)程桌面連接阿里云Ubuntu 16.04服務(wù)器的操作方法
這篇文章主要介紹了本地Windows遠(yuǎn)程桌面連接阿里云Ubuntu 16.04服務(wù)器的方法,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-02-02
Linux之計(jì)劃任務(wù)和調(diào)度命令at/cron詳解
這篇文章主要介紹了Linux之計(jì)劃任務(wù)和調(diào)度命令at/cron的使用,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-04-04
禁用FireWallD,安裝&啟用iptables-services systemctl stop firewalld systemctl mask firewalld yum install iptables-services -y systemctl enable iptables2016-04-04
linux如何擴(kuò)展磁盤容量(VMware虛擬機(jī))
這篇文章主要介紹了linux如何擴(kuò)展磁盤容量(VMware虛擬機(jī))問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-09-09
這篇文章主要介紹了Linux下編譯使用靜態(tài)鏈接庫遇到模板類的時(shí)該如何處理。2017-11-11
這篇文章主要介紹了ubuntu安裝opencv的正確方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
Apache mod_rewrite實(shí)現(xiàn)HTTP和HTTPS重定向跳轉(zhuǎn)
這篇文章主要介紹了Apache mod_rewrite實(shí)現(xiàn)HTTP和HTTPS重定向跳轉(zhuǎn),本文分別給出了HTTP重定向HTTPS和HTTPS重定向HTTP配置參考,需要的朋友可以參考下2015-06-06
這篇文章主要介紹了Ubuntu刪除多余內(nèi)核的方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-12-12
Linux中的命令的確是非常多，我們只需要了解常用的命令就可以了，本篇文章介紹了Linux 之我最常用的20條命令總結(jié)，有興趣的可以了解一下。2016-12-12