一文詳解kafka開啟kerberos認(rèn)證的完整步驟
一、kerberos安裝部署
kerberos的基本原理不做過多介紹了，可自行查閱；本文主要介紹kerberos的安裝及使用;使用到的軟件版本：系統(tǒng)：Red Hat Enterprise Linux release 8.6 (Ootpa) 、krb5-server：1.18.2
#使用到的軟件版本 [root@kafka01 data]# cat /etc/redhat-release Red Hat Enterprise Linux release 8.6 (Ootpa) #通過yum安裝 [root@kafka01 ~]# yum install krb5-server #查看本版號 [root@kafka01 ~]# rpm -qi krb5-server Name : krb5-server Version : 1.18.2 Release : 30.el8_10 Architecture: x86_64 Install Date: Fri 07 Mar 2025 11:11:35 AM CST Group : System Environment/Daemons Size : 1481553 License : MIT Signature : RSA/SHA256, Tue 22 Oct 2024 11:00:23 PM CST, Key ID 199e2f91fd431d51
二、準(zhǔn)備機(jī)器
| 序號 | IP | 主機(jī) | 部署服務(wù) |
|---|---|---|---|
| 1 | 192.168.10.100 | kafka01 | Kerberos Server、Kerberos Client |
| 2 | 192.168.10.101 | kafka02 | Kerberos Client |
| 3 | 192.168.10.102 | kafka03 | Kerberos Client |
綁定host文件
[root@kafka01 ~]# cat /etc/hosts 192.168.10.100 kafka01 192.168.10.101 kafka02 192.168.10.102 kafka03
Kerberos Client 根據(jù)需要進(jìn)行安裝，安裝后可以使用 kadmin 命令；對應(yīng)在 Kerberos Server 上使用 kadmin.local 命令。
三、Kerberos Server 安裝
[root@kafka01 ~]# yum install krb5-server
1、配置krb5.conf
#編輯配置文件
[root@kafka01 ~]# vim /etc/krb5.conf
# To opt out of the system crypto-policies configuration of krb5, remove the
# symlink at /etc/krb5.conf.d/crypto-policies which will not be recreated.
includedir /etc/krb5.conf.d/
[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log
[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
# spake_preauth_groups = edwards25519
default_realm = NSSPKAFKA.COM #域
default_ccache_name = KEYRING:persistent:%{uid}
[realms]
NSSPKAFKA.COM = {
kdc = kafka01 #hostname
admin_server = kafka01 #hostname
}
[domain_realm]
#.kafka01 = NSSPKAFKA.COM
#kafka01 = NSSPKAFKA.COM
以上配置相關(guān)參數(shù)
[logging]：日志的位置
[libdefaults]：每種連接的默認(rèn)配置
dns_lookup_realm：是否通過 dns 查找需使用的 releam
ticket_lifetime：憑證的有效時(shí)限，一般為 24 小時(shí)
renew_lifetime：憑證最長可以被延期的時(shí)限，一般為一周。當(dāng)憑證過期之后，對安全認(rèn)證的服務(wù)后續(xù)訪問就會(huì)失敗
forwardable：ticket 是否可以被轉(zhuǎn)發(fā)（如果用戶已經(jīng)有了一個(gè)TGT，當(dāng)他登入到另一個(gè)遠(yuǎn)程系統(tǒng)，KDC會(huì)為他重新創(chuàng)建一個(gè)TGT，而不需要讓用戶重新進(jìn)行身份認(rèn)證）
rdns：如果為 true，則除根據(jù) hostname 正向查找外，同時(shí)反向查找對應(yīng)的 principal。如果 dns_canonicalize_hostname 設(shè)置為 false，則此標(biāo)志不起作用。默認(rèn)值為 true。
pkinit_anchors：受信任錨（根）證書的位置；如果用戶在命令行上指定X509_anchors，則不使用該配置。
default_realm：默認(rèn)的 realm，必須跟要配置的 realm 名稱一致
default_ccache_name：指定默認(rèn)憑據(jù)緩存的名稱。默認(rèn)值為 DEFCCNAME
[realms]：列舉使用的 realm
kdc：kdc 運(yùn)行的機(jī)器
admin_server：kdc 數(shù)據(jù)庫管理服務(wù)運(yùn)行的機(jī)器
[domain_realm]：配置 domain name 或 hostname 對應(yīng)的 releam
詳細(xì)說明可參考官網(wǎng)文檔：http://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/krb5_conf.html。
2、配置kdc.conf (/var/kerberos/krb5kdc/kdc.conf)
[root@kafka01 data]# vim /var/kerberos/krb5kdc/kdc.conf
[kdcdefaults]
kdc_ports = 88
kdc_tcp_ports = 88
spake_preauth_kdc_challenge = edwards25519
[realms]
NSSPKAFKA.COM = {
#master_key_type = aes256-cts
acl_file = /var/kerberos/krb5kdc/kadm5.acl
dict_file = /usr/share/dict/words
admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
supported_enctypes = aes256-cts:normal aes128-cts:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal
}
以上配置相關(guān)參數(shù)詳解
相關(guān)參數(shù)說明：
[kdcdefaults]：KDC 默認(rèn)配置
kdc_ports：UDP 端口號
kdc_tcp_ports：TCP 端口號
[realms]：realm 數(shù)據(jù)庫配置
master_key_type：主密鑰的密鑰類型；默認(rèn)值為 aes256-cts-hmac-sha1-96。
acl_file：用于指定哪些用戶可以訪問 kdc 數(shù)據(jù)庫的控制文件；如果不需要現(xiàn)在用戶訪問，該值可以設(shè)為空
dict_file：字典文件位置，該文件中的單詞不能被用于密碼；如果文件為空，或者沒有為用戶分配策略，則不會(huì)執(zhí)行密碼字典檢查。
admin_keytab：KDC 進(jìn)行校驗(yàn)的 keytab。
supported_enctypes：支持的加密方式，默認(rèn)為 aes256-cts-hmac-sha1-96:normal aes128-cts-hmac-sha1-96:normal。
詳細(xì)說明可參考官網(wǎng)文檔：https://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/kdc_conf.html。
3、創(chuàng)建數(shù)據(jù)庫
[root@kafka01 ~]# kdb5_util create -s -r DATACENTER.COM
四、啟動(dòng)服務(wù)
1、啟動(dòng)服務(wù)
#開啟自啟動(dòng) [root@kafka01 ~]# systemctl enable krb5kdc.service Created symlink /etc/systemd/system/multi-user.target.wants/krb5kdc.service → /usr/lib/systemd/system/krb5kdc.service. #開啟Kerberos服務(wù) [root@kafka01 ~]# systemctl start krb5kdc.service #開啟kadmin服務(wù) [root@kafka01 ~]# systemctl enable kadmin.service Created symlink /etc/systemd/system/multi-user.target.wants/kadmin.service → /usr/lib/systemd/system/kadmin.service. [root@kafka01 ~]# systemctl start kadmin.service
2、創(chuàng)建賬號
Kerberos 服務(wù)機(jī)器上可以使用 kadmin.local 來執(zhí)行各種管理的操作。進(jìn)入 kadmin.local：
常用操作：
| 操作 | 描述 | 例子 |
|---|---|---|
| add_principal, addprinc, ank | 增加 principal | add_principal -rnadkey test@ABC.COM |
| delete_principal, delprinc | 刪除 principal | delete_principal test@ABC.COM |
| modify_principal, modprinc | 修改 principal | modify_principal test@ABC.COM |
| rename_principal, renprinc | 重命名 principal | rename_principal test@ABC.COM test2@ABC.COM |
| get_principal, getprinc | 獲取 principal | get_principal test@ABC.COM |
| list_principals, listprincs, get_principals, getprincs | 顯示所有 principal | listprincs |
| ktadd, xst | 導(dǎo)出條目到 keytab | xst -k /root/test.keytab test@ABC.COM |
#執(zhí)行命令 [root@kafka01 ~]# kadmin.local kadmin.local: add_principal admin/admin@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: add_principal kafka-client@NSSPKAFKA.COM #導(dǎo)出賬號密鑰 kadmin.local: xst -norandkey -k /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM
五、Kerberos Client 安裝
在其他集群機(jī)器上安裝
[root@kafka01 ~]#yum install krb5-workstation
1、配置krb5.conf
從 192.168.10.100 上拷貝 /etc/krb5.conf 并覆蓋本地的 /etc/krb5.conf。
#客戶端可以是用kadmin命令 [root@kafka01 ~]# kadmin kinit(在客戶端認(rèn)證用戶) [root@kafka02 ~]# kinit admin/admin@DATACENTER.COM #輸入密碼認(rèn)證完成 #查看當(dāng)前的認(rèn)證用戶 [root@kafka01 ~]# klist #kdestroy(刪除當(dāng)前的認(rèn)證緩存) [root@kafka01 ~]# kdestroy
六、kafka集群開啟kerberos認(rèn)證
1、機(jī)器準(zhǔn)備
| 序號 | IP | 主機(jī) | 部署服務(wù) |
|---|---|---|---|
| 1 | 192.168.10.100 | kafka01 | zookeeper、kafka |
| 2 | 192.168.10.101 | kafka02 | zookeeper、kafka |
| 3 | 192.168.10.102 | kafka03 | zookeeper、kafka |
綁定host文件
[root@kafka01 ~]# cat /etc/hosts 192.168.10.100 kafka01 192.168.10.101 kafka02 192.168.10.102 kafka03
2、創(chuàng)建keytab文件
在安裝 Kerberos 的機(jī)器上進(jìn)入 kadmin（Kerberos 服務(wù)端上使用 kadmin.local，安裝了 Kerberos Client 的機(jī)器上可以使用 kadmin），然后執(zhí)行如下命令分別創(chuàng)建服務(wù)端和客戶端的 keytab：
#執(zhí)行命令 [root@kafka01 ~]# kadmin.local kadmin.local: add_principal admin/admin@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: add_principal kafka-client@NSSPKAFKA.COM #導(dǎo)出賬號密鑰 kadmin.local: xst -norandkey -k /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM
3、Kerberos相關(guān)配置
拷貝 krb5.conf 及 keytab 文件到所有安裝 Kafka 的機(jī)器，這里把文件都放到 Kafka 的 config/kerveros 目錄下(kerberos 目錄需新建)。
[root@kafka01 kerberos]# pwd /opt/kafka_2.12-3.9.0/config/kerberos [root@kafka01 kerberos]# ll total 24 -rw-r--r-- 1 root root 95 Mar 10 15:53 client.properties -rw-r--r-- 1 root root 246 Mar 10 16:11 kafka-client-jaas.conf -rw------- 1 root root 379 Mar 10 16:03 kafka-client.keytab -rw-r--r-- 1 root root 256 Mar 10 16:10 kafka-server-jaas.conf -rw------- 1 root root 424 Mar 10 16:01 kafka-server.keytab -rw-r--r-- 1 root root 786 Mar 10 16:10 krb5.conf
4、Kafka服務(wù)端配置（server.properties）
#執(zhí)行命令 [root@kafka01 config]# vim server.properties #配置文件開啟認(rèn)證 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=GSSAPI sasl.enabled.mechanisms=GSSAPI sasl.kerberos.service.name=kafka-server
5、新建 kafka-server-jaas.conf 文件
該文件也放到 Kafka 的 config/kerveros 目錄下
[root@kafka01 kerberos]# cat kafka-server-jaas.conf
KafkaServer {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server.keytab" #這是導(dǎo)出的賬號keytab文件 不同的賬號不同的文件
storeKey=true
useTicketCache=false
principal="kafka-server/kafka01@DATACENTER.COM"; #不同的機(jī)器 不同的賬號，
};
6、修改 bin/kafka-server-start.sh 腳本
倒數(shù)第二行增加如下配置：
#進(jìn)入啟動(dòng)腳本 [root@kafka01 bin]# vim kafka-server-start.sh #-Dzookeeper.sasl.client=false zk沒有開啟認(rèn)證就設(shè)置false export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server -Djava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server-jaas.conf"
客戶端配置
7、新建 kafka-client-jaas.conf 文件
該文件也放到 Kafka 的 config/kerveros 目錄下。
[root@kafka01 kerberos]# vim kafka-client-jaas.conf
KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client.keytab" #客戶端密鑰
storeKey=true
useTicketCache=true
principal="kafka-client@DATACENTER.COM"; #客戶端賬號 這里的';' 不能省略
};
該配置主要為了使用 bin/kafka-topics.sh、bin/kafka-console-consumer.sh、kafka-console-producer.sh 等命令
#三個(gè)文件倒數(shù)第二行 新增以下內(nèi)容 export KAFKA_OPTS="-Djava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client-jaas.conf"
七、啟動(dòng)測試
#查看topic [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --list --bootstrap-server kafka:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #創(chuàng)建topic & 測試鏈接 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #生產(chǎn)者 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-producer.sh --topic test --bootstrap-server nsspmsg.com:9092 --producer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #消費(fèi)者 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server nsspmsg.com:9092 --consumer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties
以上就是一文詳解kafka開啟kerberos認(rèn)證的完整步驟的詳細(xì)內(nèi)容，更多關(guān)于kafka開啟kerberos認(rèn)證的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要介紹了Dubbo?2.7X?安裝部署詳細(xì)流程分析,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-02-02
chatgpt國內(nèi)鏡像?pycharm?idea插件使用詳解
這篇文章主要介紹了chatgpt國內(nèi)鏡像?pycharm?idea插件使用詳解,本文通過圖文實(shí)例代碼相結(jié)合給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-02-02
flask+layui+echarts實(shí)現(xiàn)前端動(dòng)態(tài)圖展示數(shù)據(jù)效果
這篇文章主要介紹了flask+layui+echarts實(shí)現(xiàn)前端動(dòng)態(tài)圖展示數(shù)據(jù)效果，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-09-09
gliffy-confluence-plugin-9.1.2插件教程詳解
這篇文章主要介紹了gliffy-confluence-plugin-9.1.2破解教程詳解,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-02-02
聯(lián)邦學(xué)習(xí)論文解讀分散數(shù)據(jù)的深層網(wǎng)絡(luò)通信
這篇文章主要為大家介紹了論文解讀分散數(shù)據(jù)的深層網(wǎng)絡(luò)通信有效學(xué)習(xí)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
這篇文章主要為大家介紹了Terraform?+?Gitlab?CI簡單集成方案，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
MobaXterm詳細(xì)使用圖文教程(MobaXterm連接Linux服務(wù)器)
這篇文章主要介紹了MobaXterm詳細(xì)使用教程,介紹一下如何設(shè)置并用MobaXterm來連接Linux服務(wù)器，本文介紹了三種連接方式：SSH，F(xiàn)TP，serial，以及幾個(gè)有用的設(shè)置和命令，需要的朋友可以參考下2023-05-05
Caffe圖像數(shù)據(jù)轉(zhuǎn)換成可運(yùn)行l(wèi)eveldb?lmdb文件
這篇文章主要為大家介紹了Caffe圖像數(shù)據(jù)轉(zhuǎn)換成可運(yùn)行l(wèi)eveldb?lmdb文件教程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
關(guān)于解決?“Error:?listen?EACCES:?permission?denied?0.0.0.0:
這篇文章主要介紹了在開發(fā)過程中常見的錯(cuò)誤Error:listenEACCES:permissiondenied0.0.0.0:80,并提供了兩種解決方法,大家可以根據(jù)需求選擇對應(yīng)的方法,需要的朋友可以參考下2024-12-12
VSCode SSH遠(yuǎn)程連接與刪除的實(shí)現(xiàn)步驟
本文主要介紹了VSCode SSH遠(yuǎn)程連接與刪除的實(shí)現(xiàn)步驟，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07