kafka 重新分配partition和調(diào)整replica的數(shù)量實(shí)現(xiàn)
一、重新分配partition
1、環(huán)境準(zhǔn)備
kafka 版本:2.13-3.6.1 topic 名字: topic-A partition 數(shù)量: 3 relica 數(shù)量:2 broker數(shù)量:2 ;broker.id分別是0,1
topic-B 詳細(xì)信息展示:
Topic:topic-B Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0,1 Topic:topic-B Partition: 1 Leader: 1 Replicas: 1,0 Isr: 1,0 Topic:topic-B Partition: 2 Leader: 0 Replicas: 0,1 Isr: 0,1
當(dāng)需要提高系統(tǒng)的可擴(kuò)展性,提升集群的速率和吞吐量的時(shí)候,需要增加機(jī)器的數(shù)量,當(dāng)機(jī)器數(shù)量增加的時(shí)候,原本因節(jié)點(diǎn)不足導(dǎo)致partition的leader節(jié)點(diǎn)分布不均衡的缺陷可以得到解決,這個(gè)時(shí)候可以使用kafka-reassign-partitions.sh命令來(lái)對(duì)分區(qū)進(jìn)行重新分配。
注意: Kafka 不會(huì)對(duì)已存在的分區(qū)進(jìn)行均衡分配,所以需要我們手動(dòng)通過(guò)kafka-reassign-partitions.sh命令執(zhí)行分區(qū)分配操作。
2、具體實(shí)現(xiàn)
當(dāng)前集群中有兩個(gè)節(jié)點(diǎn),id分別為0和1;現(xiàn)在再加一個(gè) broker 節(jié)點(diǎn),id 為 2;現(xiàn)在我們手動(dòng)將已存在的topic-B的三個(gè)分區(qū)的leader節(jié)點(diǎn)均勻分布在三個(gè)節(jié)點(diǎn)上,以便實(shí)現(xiàn)盡可能的負(fù)載均衡,提高寫(xiě)入和消費(fèi)速度。
- 聲明要重新分配分區(qū)的 topic 列表
可以使用kafka-reassign-partitions.sh命令來(lái)對(duì)topic的分區(qū)進(jìn)行重新分配,但前提是,我們需要先按照要求定義一個(gè)json文件,里面說(shuō)明哪些 topic 需要分配分區(qū)。文件內(nèi)容如下:
cat<<EOF > topic-B-generate.json { "topics": [ { "topic": "topic-B" } ], "version": 1 } EOF
- 通過(guò) --topics-to-move-json-file 參數(shù),生成重新分區(qū)分配策略 --generate
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --topics-to-move-json-file topic-B-generate.json --broker-list "0,1,2" --generate
其中–broker-list:值為要分配的 kafka broker id,以逗號(hào)分隔,該參數(shù)必不可少。腳本會(huì)根據(jù)你的 topic-generate.json 文件,獲取 topic 列表,為這些 topic 生成分布在 broker list 上面的分區(qū)分配策略。輸出結(jié)果中有你當(dāng)前的分區(qū)分配策略,也有 Kafka 期望的分配策略,在期望的分區(qū)分配策略里,kafka 已經(jīng)盡可能的為你分配均衡。
Current partition replica assignment 當(dāng)前的分區(qū)分配策略,可以用于備份以及之后的恢復(fù)
Proposed partition reassignment configuration kafka生成的一個(gè)分配均衡的分配策略,可以用于后續(xù)重新分配的執(zhí)行
一個(gè)分配策略示例如下
{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[0,1] ,"log_dirs":["any","any"]}]}
- 通過(guò) --reassignment-json-file 參數(shù),執(zhí)行分區(qū)分配策略 --execute
將上述輸出的Proposed partition reassignment configuration中的策略復(fù)制到一個(gè)json文件中,并命名,然后執(zhí)行
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --reassignment-json-file partition-replica-reassignment.json --execute
- 通過(guò) --reassignment-json-file 參數(shù),檢查分區(qū)分配進(jìn)度 --verify
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --reassignment-json-file partition-replica-reassignment.json --verify
二、調(diào)整replica的數(shù)量
一般情況下,分區(qū)的副本replica數(shù)量與節(jié)點(diǎn)數(shù)量一致,當(dāng)集群中節(jié)點(diǎn)數(shù)量增加的時(shí)候,一般也需要調(diào)整replica的數(shù)量,一般是會(huì)增大分區(qū)副本數(shù),調(diào)整方法如下:
{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[2,1,0] ,"log_dirs":["any","any"]}]}
其中replicas中存放的是副本所要在的節(jié)點(diǎn),可以通過(guò) 調(diào)整其數(shù)值和順序來(lái)調(diào)整replica的數(shù)量和leader所在的節(jié)點(diǎn)(第一個(gè)就是leader所在節(jié)點(diǎn)),調(diào)整完成之后再進(jìn)行執(zhí)行。
注意: replicas中的值列表是broker id,log_dirs中的列表數(shù)量需要與replicas列表數(shù)量一致;
注意: 每個(gè) partitiion 的所有 replicas 叫做 “assigned replicas” ,“assigned replicas” 中的第一個(gè) replica 叫 “leader”,第二個(gè)叫"preferred replica",當(dāng) kafka leader replica 掛掉的話(huà),partition 會(huì)選擇 “preferred replica” 做為 leader replica 。
三、小結(jié)
- 1、–generate:配合著 --topics-to-move-json-file 可以生成分區(qū)分配策略,該參數(shù)適用于分區(qū)多的情況。
- 2、–execute:配合著 --reassignment-json-file 可以執(zhí)行分區(qū)分配策略。
- 3、–verify:配合著 --reassignment-json-file 可以檢查分區(qū)分配進(jìn)度。
到此這篇關(guān)于kafka 重新分配partition和調(diào)整replica的數(shù)量實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)kafka 重新分配partition和replica內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
利用Sharding-Jdbc組件實(shí)現(xiàn)分表
這篇文章主要為大家詳細(xì)介紹了利用Sharding-Jdbc組件實(shí)現(xiàn)分表,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-07-07springboot Quartz動(dòng)態(tài)修改cron表達(dá)式的方法
這篇文章主要介紹了springboot Quartz動(dòng)態(tài)修改cron表達(dá)式的方法,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-09-09Java計(jì)算兩個(gè)時(shí)間段的差的實(shí)例詳解
在本篇內(nèi)容中,我們給大家整理了關(guān)于Java計(jì)算兩個(gè)時(shí)間段的差的實(shí)例內(nèi)容,并做了詳細(xì)分析,有需要的朋友們學(xué)習(xí)下。2022-11-11Java使用BigDecimal公式精確計(jì)算及精度丟失問(wèn)題
在工作中經(jīng)常會(huì)遇到數(shù)值精度問(wèn)題,比如說(shuō)使用float或者double的時(shí)候,可能會(huì)有精度丟失問(wèn)題,下面這篇文章主要給大家介紹了關(guān)于Java使用BigDecimal公式精確計(jì)算及精度丟失問(wèn)題的相關(guān)資料,需要的朋友可以參考下2023-01-01SpringBoot使用JWT實(shí)現(xiàn)登錄驗(yàn)證的方法示例
這篇文章主要介紹了SpringBoot使用JWT實(shí)現(xiàn)登錄驗(yàn)證的方法示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06