kafka 重新分配partition和調整replica的數量實現

更新時間：2024年10月11日 11:41:22 作者：husterlichf

當需要提升Kafka集群的性能和負載均衡時,可通過kafka-reassign-partitions.sh命令手動重新分配Partition,增加節(jié)點后,可以將Topic的Partition的Leader節(jié)點均勻分布,以提高寫入和消費速度,感興趣的可以了解一下

一、重新分配partition

1、環(huán)境準備

kafka 版本：2.13-3.6.1
topic 名字： topic-A
partition 數量： 3
relica 數量：2
broker數量：2 ；broker.id分別是0，1

topic-B 詳細信息展示：

Topic：topic-B      Partition: 0       Leader: 0          Replicas: 0,1      Isr:   0,1
Topic：topic-B      Partition: 1       Leader: 1          Replicas: 1,0      Isr:   1,0
Topic：topic-B      Partition: 2       Leader: 0          Replicas: 0,1      Isr:   0,1

當需要提高系統(tǒng)的可擴展性，提升集群的速率和吞吐量的時候，需要增加機器的數量，當機器數量增加的時候，原本因節(jié)點不足導致partition的leader節(jié)點分布不均衡的缺陷可以得到解決，這個時候可以使用kafka-reassign-partitions.sh命令來對分區(qū)進行重新分配。

注意： Kafka 不會對已存在的分區(qū)進行均衡分配，所以需要我們手動通過kafka-reassign-partitions.sh命令執(zhí)行分區(qū)分配操作。

2、具體實現

當前集群中有兩個節(jié)點，id分別為0和1；現在再加一個 broker 節(jié)點，id 為 2；現在我們手動將已存在的topic-B的三個分區(qū)的leader節(jié)點均勻分布在三個節(jié)點上，以便實現盡可能的負載均衡，提高寫入和消費速度。

聲明要重新分配分區(qū)的 topic 列表
可以使用kafka-reassign-partitions.sh命令來對topic的分區(qū)進行重新分配，但前提是，我們需要先按照要求定義一個json文件，里面說明哪些 topic 需要分配分區(qū)。文件內容如下：

cat<<EOF > topic-B-generate.json
{
  "topics": [
    {
      "topic": "topic-B"
    }
  ],
  "version": 1
}
EOF

通過 --topics-to-move-json-file 參數，生成重新分區(qū)分配策略 --generate

./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --topics-to-move-json-file topic-B-generate.json --broker-list "0,1,2" --generate

其中–broker-list：值為要分配的 kafka broker id，以逗號分隔，該參數必不可少。腳本會根據你的 topic-generate.json 文件，獲取 topic 列表，為這些 topic 生成分布在 broker list 上面的分區(qū)分配策略。輸出結果中有你當前的分區(qū)分配策略，也有 Kafka 期望的分配策略，在期望的分區(qū)分配策略里，kafka 已經盡可能的為你分配均衡。

Current partition replica assignment 當前的分區(qū)分配策略，可以用于備份以及之后的恢復
Proposed partition reassignment configuration kafka生成的一個分配均衡的分配策略，可以用于后續(xù)重新分配的執(zhí)行
一個分配策略示例如下

{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[0,1] ,"log_dirs":["any","any"]}]}

通過 --reassignment-json-file 參數，執(zhí)行分區(qū)分配策略 --execute
將上述輸出的Proposed partition reassignment configuration中的策略復制到一個json文件中，并命名，然后執(zhí)行

./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3  --reassignment-json-file partition-replica-reassignment.json --execute

通過 --reassignment-json-file 參數，檢查分區(qū)分配進度 --verify

./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3  --reassignment-json-file partition-replica-reassignment.json --verify

二、調整replica的數量

一般情況下，分區(qū)的副本replica數量與節(jié)點數量一致，當集群中節(jié)點數量增加的時候，一般也需要調整replica的數量，一般是會增大分區(qū)副本數，調整方法如下：

{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[2,1,0] ,"log_dirs":["any","any"]}]}

其中replicas中存放的是副本所要在的節(jié)點，可以通過調整其數值和順序來調整replica的數量和leader所在的節(jié)點（第一個就是leader所在節(jié)點），調整完成之后再進行執(zhí)行。

注意： replicas中的值列表是broker id，log_dirs中的列表數量需要與replicas列表數量一致；
注意：每個 partitiion 的所有 replicas 叫做 “assigned replicas” ，“assigned replicas” 中的第一個 replica 叫 “leader”，第二個叫"preferred replica"，當 kafka leader replica 掛掉的話，partition 會選擇 “preferred replica” 做為 leader replica 。