kafka 重新分配partition和調整replica的數量實現
一、重新分配partition
1、環(huán)境準備
kafka 版本:2.13-3.6.1 topic 名字: topic-A partition 數量: 3 relica 數量:2 broker數量:2 ;broker.id分別是0,1
topic-B 詳細信息展示:
Topic:topic-B Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0,1 Topic:topic-B Partition: 1 Leader: 1 Replicas: 1,0 Isr: 1,0 Topic:topic-B Partition: 2 Leader: 0 Replicas: 0,1 Isr: 0,1
當需要提高系統(tǒng)的可擴展性,提升集群的速率和吞吐量的時候,需要增加機器的數量,當機器數量增加的時候,原本因節(jié)點不足導致partition的leader節(jié)點分布不均衡的缺陷可以得到解決,這個時候可以使用kafka-reassign-partitions.sh命令來對分區(qū)進行重新分配。
注意: Kafka 不會對已存在的分區(qū)進行均衡分配,所以需要我們手動通過kafka-reassign-partitions.sh命令執(zhí)行分區(qū)分配操作。
2、具體實現
當前集群中有兩個節(jié)點,id分別為0和1;現在再加一個 broker 節(jié)點,id 為 2;現在我們手動將已存在的topic-B的三個分區(qū)的leader節(jié)點均勻分布在三個節(jié)點上,以便實現盡可能的負載均衡,提高寫入和消費速度。
- 聲明要重新分配分區(qū)的 topic 列表
可以使用kafka-reassign-partitions.sh命令來對topic的分區(qū)進行重新分配,但前提是,我們需要先按照要求定義一個json文件,里面說明哪些 topic 需要分配分區(qū)。文件內容如下:
cat<<EOF > topic-B-generate.json { "topics": [ { "topic": "topic-B" } ], "version": 1 } EOF
- 通過 --topics-to-move-json-file 參數,生成重新分區(qū)分配策略 --generate
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --topics-to-move-json-file topic-B-generate.json --broker-list "0,1,2" --generate
其中–broker-list:值為要分配的 kafka broker id,以逗號分隔,該參數必不可少。腳本會根據你的 topic-generate.json 文件,獲取 topic 列表,為這些 topic 生成分布在 broker list 上面的分區(qū)分配策略。輸出結果中有你當前的分區(qū)分配策略,也有 Kafka 期望的分配策略,在期望的分區(qū)分配策略里,kafka 已經盡可能的為你分配均衡。
Current partition replica assignment 當前的分區(qū)分配策略,可以用于備份以及之后的恢復
Proposed partition reassignment configuration kafka生成的一個分配均衡的分配策略,可以用于后續(xù)重新分配的執(zhí)行
一個分配策略示例如下
{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[0,1] ,"log_dirs":["any","any"]}]}
- 通過 --reassignment-json-file 參數,執(zhí)行分區(qū)分配策略 --execute
將上述輸出的Proposed partition reassignment configuration中的策略復制到一個json文件中,并命名,然后執(zhí)行
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --reassignment-json-file partition-replica-reassignment.json --execute
- 通過 --reassignment-json-file 參數,檢查分區(qū)分配進度 --verify
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --reassignment-json-file partition-replica-reassignment.json --verify
二、調整replica的數量
一般情況下,分區(qū)的副本replica數量與節(jié)點數量一致,當集群中節(jié)點數量增加的時候,一般也需要調整replica的數量,一般是會增大分區(qū)副本數,調整方法如下:
{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[2,1,0] ,"log_dirs":["any","any"]}]}
其中replicas中存放的是副本所要在的節(jié)點,可以通過 調整其數值和順序來調整replica的數量和leader所在的節(jié)點(第一個就是leader所在節(jié)點),調整完成之后再進行執(zhí)行。
注意: replicas中的值列表是broker id,log_dirs中的列表數量需要與replicas列表數量一致;
注意: 每個 partitiion 的所有 replicas 叫做 “assigned replicas” ,“assigned replicas” 中的第一個 replica 叫 “leader”,第二個叫"preferred replica",當 kafka leader replica 掛掉的話,partition 會選擇 “preferred replica” 做為 leader replica 。
三、小結
- 1、–generate:配合著 --topics-to-move-json-file 可以生成分區(qū)分配策略,該參數適用于分區(qū)多的情況。
- 2、–execute:配合著 --reassignment-json-file 可以執(zhí)行分區(qū)分配策略。
- 3、–verify:配合著 --reassignment-json-file 可以檢查分區(qū)分配進度。
到此這篇關于kafka 重新分配partition和調整replica的數量實現的文章就介紹到這了,更多相關kafka 重新分配partition和replica內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
springboot Quartz動態(tài)修改cron表達式的方法
這篇文章主要介紹了springboot Quartz動態(tài)修改cron表達式的方法,小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-09-09