使用kafka-console-consumer.sh不停報WARN的問題及解決
kafka-console-consumer.sh不停報WARN的解決
首先確認你的服務(wù)器你所需要的所有端口都打開了!
./kafka-console-consumer.sh --bootstrap-server 宿主機IP:9092 --topic 主題名 --from-beginning
端口都打開的情況使用以上命令還繼續(xù)各種報WARN請檢查kafka相關(guān)配置
listeners=PLAINTEXT://*********:9092
以上*處配置IP應(yīng)為宿主機IP地址一致
./kafka-console-consumer.sh --bootstrap-server *********:9092 --topic 主題名 --from-beginning
問題得到解決
我是這個原因,可以從報錯信息中得知解析地址中的broker失敗了修改為宿主機IP得到解決
WARN [Consumer clientId=consumer-console-consumer-21595-1, groupId=console-consumer-21595] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
使用Kafka的kafka-console-consumer.sh不能消費消息
使用Ambari搭建的kafka集群,在使用kafka-console-producer.sh的時候,指定--broker-list的值需要從server.properties中查看listeners=PLAINTEXT://的值。
同理,使用kafka-console-consumer.sh的時候,指定--bootstrap-server也需要從server.properties中查看listeners=PLAINTEXT://的值。
所以,以上已經(jīng)是確保了配置沒有問題的情況下,出現(xiàn)了kafka使用kafka-console-consumer.sh沒有消費消息。
問題
使用kafka-console-consumer.sh沒有消費消息
解決
(1)在無意中查看了kafka的server.log日志,發(fā)現(xiàn)一直在報如下錯誤
ERROR [KafkaApi-1001] Number of alive brokers '2' does not meet the required replication factor '3' for the offsets topic (configured via 'offsets.topic.replication.factor'). This error can be ignored if the cluster is starting up and not all brokers are up yet. (kafka.server.KafkaApis)
(2)分析了下局面意思,大概就是broker的數(shù)量為2,但是server.properties配置的offsets.topic.replication.factor的值為3。
看到這里我大概有兩個解決方案
一、添加broker的數(shù)目
二、修改server.properties中offsets.topic.replication.factor的值,改成2【Ambari中該值在kafka-broker中修改】
總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Java實現(xiàn)數(shù)組轉(zhuǎn)字符串及字符串轉(zhuǎn)數(shù)組的方法分析
這篇文章主要介紹了Java實現(xiàn)數(shù)組轉(zhuǎn)字符串及字符串轉(zhuǎn)數(shù)組的方法,結(jié)合實例形式分析了Java字符串及數(shù)組相關(guān)的分割、遍歷、追加等操作技巧,需要的朋友可以參考下2018-06-06配置pom.xml用maven打包java工程的方法(推薦)
下面小編就為大家?guī)硪黄渲胮om.xml用maven打包java工程的方法(推薦)。小編覺得挺不錯的, 現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2016-06-06Spring session實現(xiàn)共享單點登錄案例過程解析
這篇文章主要介紹了Spring session實現(xiàn)共享單點登錄案例過程解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07MybatisPlus 插入或更新數(shù)據(jù)時自動填充更新數(shù)據(jù)解決方案
本文主要介紹了MybatisPlus 插入或更新數(shù)據(jù)時自動填充更新數(shù)據(jù)解決方案,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-09-09springboot+mybaties項目中掃描不到@mapper注解的解決方法
本文主要介紹了springboot+mybaties項目中掃描不到@mapper注解的解決方法,該報錯表明掃描不到Mapper層,具有一定的參考價值,感興趣的可以了解一下2024-05-05