一、重新分配partition

1、環(huán)境準(zhǔn)備

kafka 版本：2.13-3.6.1
topic 名字： topic-A
partition 數(shù)量： 3
relica 數(shù)量：2
broker數(shù)量：2 ；broker.id分別是0，1

topic-B 詳細(xì)信息展示：

Topic：topic-B      Partition: 0       Leader: 0          Replicas: 0,1      Isr:   0,1
Topic：topic-B      Partition: 1       Leader: 1          Replicas: 1,0      Isr:   1,0
Topic：topic-B      Partition: 2       Leader: 0          Replicas: 0,1      Isr:   0,1

當(dāng)需要提高系統(tǒng)的可擴(kuò)展性，提升集群的速率和吞吐量的時(shí)候，需要增加機(jī)器的數(shù)量，當(dāng)機(jī)器數(shù)量增加的時(shí)候，原本因節(jié)點(diǎn)不足導(dǎo)致partition的leader節(jié)點(diǎn)分布不均衡的缺陷可以得到解決，這個(gè)時(shí)候可以使用kafka-reassign-partitions.sh命令來(lái)對(duì)分區(qū)進(jìn)行重新分配。

注意： Kafka 不會(huì)對(duì)已存在的分區(qū)進(jìn)行均衡分配，所以需要我們手動(dòng)通過(guò)kafka-reassign-partitions.sh命令執(zhí)行分區(qū)分配操作。

2、具體實(shí)現(xiàn)

當(dāng)前集群中有兩個(gè)節(jié)點(diǎn)，id分別為0和1；現(xiàn)在再加一個(gè) broker 節(jié)點(diǎn)，id 為 2；現(xiàn)在我們手動(dòng)將已存在的topic-B的三個(gè)分區(qū)的leader節(jié)點(diǎn)均勻分布在三個(gè)節(jié)點(diǎn)上，以便實(shí)現(xiàn)盡可能的負(fù)載均衡，提高寫(xiě)入和消費(fèi)速度。

• 聲明要重新分配分區(qū)的 topic 列表
  可以使用kafka-reassign-partitions.sh命令來(lái)對(duì)topic的分區(qū)進(jìn)行重新分配，但前提是，我們需要先按照要求定義一個(gè)json文件，里面說(shuō)明哪些 topic 需要分配分區(qū)。文件內(nèi)容如下：

cat<<EOF > topic-B-generate.json
{
  "topics": [
    {
      "topic": "topic-B"
    }
  ],
  "version": 1
}
EOF

• 通過(guò) --topics-to-move-json-file 參數(shù)，生成重新分區(qū)分配策略 --generate

./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --topics-to-move-json-file topic-B-generate.json --broker-list "0,1,2" --generate

其中–broker-list：值為要分配的 kafka broker id，以逗號(hào)分隔，該參數(shù)必不可少。腳本會(huì)根據(jù)你的 topic-generate.json 文件，獲取 topic 列表，為這些 topic 生成分布在 broker list 上面的分區(qū)分配策略。輸出結(jié)果中有你當(dāng)前的分區(qū)分配策略，也有 Kafka 期望的分配策略，在期望的分區(qū)分配策略里，kafka 已經(jīng)盡可能的為你分配均衡。

Current partition replica assignment 當(dāng)前的分區(qū)分配策略，可以用于備份以及之后的恢復(fù)
Proposed partition reassignment configuration kafka生成的一個(gè)分配均衡的分配策略，可以用于后續(xù)重新分配的執(zhí)行
一個(gè)分配策略示例如下

{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[0,1] ,"log_dirs":["any","any"]}]}

• 通過(guò) --reassignment-json-file 參數(shù)，執(zhí)行分區(qū)分配策略 --execute
  將上述輸出的Proposed partition reassignment configuration中的策略復(fù)制到一個(gè)json文件中，并命名，然后執(zhí)行

./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3  --reassignment-json-file partition-replica-reassignment.json --execute

• 通過(guò) --reassignment-json-file 參數(shù)，檢查分區(qū)分配進(jìn)度 --verify

./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3  --reassignment-json-file partition-replica-reassignment.json --verify

二、調(diào)整replica的數(shù)量

一般情況下，分區(qū)的副本replica數(shù)量與節(jié)點(diǎn)數(shù)量一致，當(dāng)集群中節(jié)點(diǎn)數(shù)量增加的時(shí)候，一般也需要調(diào)整replica的數(shù)量，一般是會(huì)增大分區(qū)副本數(shù)，調(diào)整方法如下：

{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[2,1,0] ,"log_dirs":["any","any"]}]}

其中replicas中存放的是副本所要在的節(jié)點(diǎn)，可以通過(guò) 調(diào)整其數(shù)值和順序來(lái)調(diào)整replica的數(shù)量和leader所在的節(jié)點(diǎn)（第一個(gè)就是leader所在節(jié)點(diǎn)），調(diào)整完成之后再進(jìn)行執(zhí)行。

注意： replicas中的值列表是broker id，log_dirs中的列表數(shù)量需要與replicas列表數(shù)量一致；
注意： 每個(gè) partitiion 的所有 replicas 叫做 “assigned replicas” ，“assigned replicas” 中的第一個(gè) replica 叫 “leader”，第二個(gè)叫"preferred replica"，當(dāng) kafka leader replica 掛掉的話(huà)，partition 會(huì)選擇 “preferred replica” 做為 leader replica 。

三、小結(jié)

• 1、–generate：配合著 --topics-to-move-json-file 可以生成分區(qū)分配策略，該參數(shù)適用于分區(qū)多的情況。
• 2、–execute：配合著 --reassignment-json-file 可以執(zhí)行分區(qū)分配策略。
• 3、–verify：配合著 --reassignment-json-file 可以檢查分區(qū)分配進(jìn)度。

 到此這篇關(guān)于kafka 重新分配partition和調(diào)整replica的數(shù)量實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)kafka 重新分配partition和replica內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論