Linux下Kafka分布式集群安裝教程
Kafka（http://kafka.apache.org/） 是由 LinkedIn 使用 Scala 編寫的一個(gè)分布式消息系統(tǒng)，用作 LinkedIn 的活動(dòng)流（Activity Stream）和運(yùn)營(yíng)數(shù)據(jù)處理管道（Pipeline）的基礎(chǔ)，具有高水平擴(kuò)展和高吞吐量。Spack、Elasticsearch 都支持與 Kafka 集成。下面看一下幾種分布式開(kāi)源消息隊(duì)列系統(tǒng)的對(duì)比：
Kafka 集群架構(gòu)：
一般不建議直接使用 Kafka 自帶的 Zookeeper 建立 zk 集群，這里我們使用獨(dú)立的 zk 集群，zk 集群搭建參考文章 Linux下ZooKeeper分布式集群安裝。
這里 Linux 選擇 CentOS 7.2。
# cd /usr/local # mkdir kafka # cd kafka # wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz # tar -zxvf kafka_2.11-1.0.0.tgz # mkdir kafka-logs # cd kafka_2.11-1.0.0/config # vim server.properties
編輯配置文件 (配置項(xiàng)可以參考 http://kafka.apache.org/documentation.html#brokerconfigs) 為：
# 唯一標(biāo)識(shí),0開(kāi)始 broker.id=0 # 服務(wù)器端口和ip port=9092 host.name=192.168.2.20 # 日志數(shù)據(jù)保存的目錄 log.dirs=/usr/local/kafka/kafka-logs log.retention.hours=168 # 每條消息能夠容納的最大大小,默認(rèn)1000012 message.max.bytes=5242880 # 默認(rèn)的副本因子,即保存消息的副本數(shù),默認(rèn)1 default.replication.factor=2 # 取消息的最大直接數(shù),默認(rèn)1048576 replica.fetch.max.bytes=5242880 # 配置zk地址 zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181
啟動(dòng) Kafka 之前需啟動(dòng) Zookeeper，然后啟動(dòng) Kafka，各個(gè)節(jié)點(diǎn)需單獨(dú)啟動(dòng)：
# cd /usr/local/kafka/kafka_2.11-1.0.0/bin # ./kafka-server-start.sh -daemon ../config/server.properties //后臺(tái)啟動(dòng)服務(wù) # jps //查看服務(wù)是否啟動(dòng)成功 # ./kafka-server-stop.sh //關(guān)閉服務(wù)
最后我們?cè)谌_(tái)不同的服務(wù)器上各部署一個(gè) Kafka 進(jìn)程，以構(gòu)成一個(gè) Kafka 集群。開(kāi)始使用可以參考官方文檔 http://kafka.apache.org/documentation.html#quickstart。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
在本篇文章中我們給大家詳細(xì)分享了關(guān)于Linux文件操作的相關(guān)知識(shí)點(diǎn)內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2018-09-09
Linux服務(wù)器下Nginx與Apache共存的實(shí)現(xiàn)方法分析
這篇文章主要介紹了Linux服務(wù)器下Nginx與Apache共存的實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了Linux服務(wù)器下Nginx與Apache共存的原理、解決思路與實(shí)現(xiàn)方法,需要的朋友可以參考下2019-06-06
linux開(kāi)機(jī)啟動(dòng)nodemanager步驟
這篇文章主要介紹了linux開(kāi)機(jī)啟動(dòng)nodemanager的步驟，大家參考使用吧2014-01-01
LINUX服務(wù)器安裝SVN服務(wù)實(shí)現(xiàn)方式
本文介紹了如何使用yum安裝Subversion,創(chuàng)建版本庫(kù),配置SVN服務(wù),并解決常見(jiàn)問(wèn)題,詳細(xì)步驟包括安裝Subversion,查看安裝版本和位置,創(chuàng)建存放版本庫(kù)的目錄及svn版本庫(kù),配置權(quán)限控制,啟動(dòng)svn版本庫(kù),以及處理端口訪問(wèn)權(quán)限等2024-09-09
這篇文章主要介紹了linux如何查看僵尸進(jìn)程問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-03-03
MemcacheQ 是一個(gè)簡(jiǎn)單的分布式隊(duì)列服務(wù)，它的運(yùn)行依賴于BerkeleyDB 和 libevent，所以需要先安裝BerkeleyDB和libevent,需要的朋友可以參考下2017-03-03
windows server2008下搭建PHP運(yùn)行環(huán)境，用IIS+PHP或者phpstudy,或wamp。今天試了試，在linux下搭建php運(yùn)行環(huán)境。感覺(jué)還不錯(cuò)。2018-06-06
Linux查看和關(guān)閉后臺(tái)運(yùn)行程序的方法
這篇文章主要介紹了Linux查看和關(guān)閉后臺(tái)運(yùn)行程序的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
Linux進(jìn)程間通信(IPC)的幾種方式總結(jié)
進(jìn)程間通信是指至少兩個(gè)進(jìn)程或線程間傳送數(shù)據(jù)或信號(hào)的一些技術(shù)或方法,每個(gè)進(jìn)程都有自己的一部分獨(dú)立的系統(tǒng)資源,彼此是隔離的,為了能使不同的進(jìn)程互相訪問(wèn)資源并進(jìn)行協(xié)調(diào)工作,才有了進(jìn)程間通信,本文就給大家介紹幾種Linux進(jìn)程間通信的方式,需要的朋友可以參考下2023-09-09
linux允許端口遠(yuǎn)程訪問(wèn)開(kāi)放端口的方法
今天小編就為大家分享一篇linux允許端口遠(yuǎn)程訪問(wèn)開(kāi)放端口的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07