Linux下Kafka分布式集群安裝教程
更新時間：2017年12月12日 10:56:57 作者：郭朝
這篇文章主要為大家詳細介紹了Linux下Kafka分布式集群安裝教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下
Kafka（http://kafka.apache.org/） 是由 LinkedIn 使用 Scala 編寫的一個分布式消息系統(tǒng)，用作 LinkedIn 的活動流（Activity Stream）和運營數據處理管道（Pipeline）的基礎，具有高水平擴展和高吞吐量。Spack、Elasticsearch 都支持與 Kafka 集成。下面看一下幾種分布式開源消息隊列系統(tǒng)的對比：
Kafka 集群架構：
一般不建議直接使用 Kafka 自帶的 Zookeeper 建立 zk 集群，這里我們使用獨立的 zk 集群，zk 集群搭建參考文章 Linux下ZooKeeper分布式集群安裝。
這里 Linux 選擇 CentOS 7.2。
# cd /usr/local # mkdir kafka # cd kafka # wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz # tar -zxvf kafka_2.11-1.0.0.tgz # mkdir kafka-logs # cd kafka_2.11-1.0.0/config # vim server.properties
編輯配置文件 (配置項可以參考 http://kafka.apache.org/documentation.html#brokerconfigs) 為：
# 唯一標識,0開始 broker.id=0 # 服務器端口和ip port=9092 host.name=192.168.2.20 # 日志數據保存的目錄 log.dirs=/usr/local/kafka/kafka-logs log.retention.hours=168 # 每條消息能夠容納的最大大小,默認1000012 message.max.bytes=5242880 # 默認的副本因子,即保存消息的副本數,默認1 default.replication.factor=2 # 取消息的最大直接數,默認1048576 replica.fetch.max.bytes=5242880 # 配置zk地址 zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181
啟動 Kafka 之前需啟動 Zookeeper，然后啟動 Kafka，各個節(jié)點需單獨啟動：
# cd /usr/local/kafka/kafka_2.11-1.0.0/bin # ./kafka-server-start.sh -daemon ../config/server.properties //后臺啟動服務 # jps //查看服務是否啟動成功 # ./kafka-server-stop.sh //關閉服務
最后我們在三臺不同的服務器上各部署一個 Kafka 進程，以構成一個 Kafka 集群。開始使用可以參考官方文檔 http://kafka.apache.org/documentation.html#quickstart。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
在本篇文章中我們給大家詳細分享了關于Linux文件操作的相關知識點內容，有興趣的朋友們可以學習下。2018-09-09
Linux服務器下Nginx與Apache共存的實現方法分析
這篇文章主要介紹了Linux服務器下Nginx與Apache共存的實現方法,結合實例形式分析了Linux服務器下Nginx與Apache共存的原理、解決思路與實現方法,需要的朋友可以參考下2019-06-06
這篇文章主要介紹了linux開機啟動nodemanager的步驟，大家參考使用吧2014-01-01
本文介紹了如何使用yum安裝Subversion,創(chuàng)建版本庫,配置SVN服務,并解決常見問題,詳細步驟包括安裝Subversion,查看安裝版本和位置,創(chuàng)建存放版本庫的目錄及svn版本庫,配置權限控制,啟動svn版本庫,以及處理端口訪問權限等2024-09-09
這篇文章主要介紹了linux如何查看僵尸進程問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-03-03
MemcacheQ 是一個簡單的分布式隊列服務，它的運行依賴于BerkeleyDB 和 libevent，所以需要先安裝BerkeleyDB和libevent,需要的朋友可以參考下2017-03-03
windows server2008下搭建PHP運行環(huán)境，用IIS+PHP或者phpstudy,或wamp。今天試了試，在linux下搭建php運行環(huán)境。感覺還不錯。2018-06-06
這篇文章主要介紹了Linux查看和關閉后臺運行程序的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-09-09
進程間通信是指至少兩個進程或線程間傳送數據或信號的一些技術或方法,每個進程都有自己的一部分獨立的系統(tǒng)資源,彼此是隔離的,為了能使不同的進程互相訪問資源并進行協調工作,才有了進程間通信,本文就給大家介紹幾種Linux進程間通信的方式,需要的朋友可以參考下2023-09-09
今天小編就為大家分享一篇linux允許端口遠程訪問開放端口的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07