kafka的認(rèn)證方式一般有如下3種：

1.SASL/GSSAPI 從版本0.9.0.0開始支持

2.SASL/PLAIN 從版本0.10.0.0開始支持

3.SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512 從版本0.10.2.0開始支持

其中第一種SASL/GSSAPI的認(rèn)證就是kerberos認(rèn)證，對于java來說有原生的支持，但是對于python來說配置稍微麻煩一些，下面說一下具體的配置過程，confluent kafka模塊底層依賴于librdkafka，這是使用c編寫的高性能的kafka客戶端庫，有好多語言的庫都是依賴于這個(gè)，所以GSSAPI接口的開啟也需要在librdkafka編譯的時(shí)候支持

librdkafka源碼：https://github.com/edenhill/librdkafka

編譯之前需要先安裝必要的開發(fā)包，否則相關(guān)的接口編譯不進(jìn)去

首先是openssl庫，使用yum安裝為：yum -y install openssl openssl-devel，編譯openssl只能支持默認(rèn)的PLAIN還有SCRAM這兩種機(jī)制，無法支持GSSAPI的機(jī)制，還需要編譯libsasl2依賴，yum安裝命令如下：

yum install cyrus-sasl-gssapi cyrus-sasl-devel

在ubuntu下使用命令：apt-get install libsasl2-modules-gssapi-mit libsasl2-dev安裝libsasl2開發(fā)包

然后確認(rèn)一下是否有zlib庫，這個(gè)是方便對kafka消息壓縮使用的，一般都會(huì)存在，安裝命令：yum install zlib-devel，如果需要更高的性能可以手動(dòng)編譯安裝zstd并且啟用壓縮，這里不再詳細(xì)敘述

上面的庫都安裝成功就可以開始編譯librdkafka源碼了，這里源碼包為：librdkafka-1.2.1.tar.gz，安裝命令如下：

# 解壓包
tar -xvzf librdkafka-1.2.1.tar.gz
cd librdkafka-1.2.1
# 編譯源碼
./configure
make
make install

上面注意一下在執(zhí)行命令./configure之后，根據(jù)輸出確認(rèn)libssl以及l(fā)ibsasl2是否被開啟，如下：

這里libssl以及l(fā)ibsasl2都顯示ok說明是可以的，現(xiàn)在SSL和SASL SCRAM以及SASL GSSAPI都已經(jīng)支持了，執(zhí)行configure階段沒指定prefix則默認(rèn)安裝位置為/usr/local，動(dòng)態(tài)庫位置就為：/usr/local/lib，需要將這個(gè)目錄添加到動(dòng)態(tài)庫連接列表中，比如加到/etc/ld.so.conf，保存后執(zhí)行l(wèi)dconfig生效

最后可以編譯和安裝python的confluent kafka模塊，這里安裝的版本是1.2.0，安裝之后可以運(yùn)行下面的代碼測試：

#!/usr/bin/env python3
# coding=utf-8
from confluent_kafka import Producer

def delivery_report(err, msg):
  """ Called once for each message produced to indicate delivery result.
    Triggered by poll() or flush(). """
  if err is not None:
    print('Message delivery failed: {}'.format(err))
  else:
    print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition()))

if __name__ == '__main__':
  producer_conf = {
    "bootstrap.servers": '192.168.0.3:9092,192.168.0.4:9092,192.168.0.5:9092',
    "security.protocol": 'sasl_plaintext',
    'sasl.kerberos.service.name': 'kafka',
    'sasl.kerberos.keytab': '/opt/user.keytab',
    'sasl.kerberos.principal': 'kafkauser',
  }
  p = Producer(producer_conf)

  p.poll(0)
  p.produce('testTopic', 'confluent kafka test'.encode('utf-8'),
    callback=delivery_report)

  p.flush()
  print('done')

如果生產(chǎn)消息正常就配置成功了，使用GSSAPI只需要配置security.protocol以及keytab的路徑即可，其他的認(rèn)證參數(shù)比如用戶名和密碼在不同的認(rèn)證機(jī)制下配置，更多的配置參數(shù)參考文檔：

https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md

librdkafka SASL認(rèn)證的詳細(xì)配置流程參考：https://github.com/edenhill/librdkafka/wiki/Using-SASL-with-librdkafka

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評論