欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

kafka 重新分配partition和調(diào)整replica的數(shù)量實(shí)現(xiàn)

 更新時(shí)間:2024年10月11日 11:41:22   作者:husterlichf  
當(dāng)需要提升Kafka集群的性能和負(fù)載均衡時(shí),可通過(guò)kafka-reassign-partitions.sh命令手動(dòng)重新分配Partition,增加節(jié)點(diǎn)后,可以將Topic的Partition的Leader節(jié)點(diǎn)均勻分布,以提高寫(xiě)入和消費(fèi)速度,感興趣的可以了解一下

一、重新分配partition

1、環(huán)境準(zhǔn)備

kafka 版本:2.13-3.6.1
topic 名字: topic-A
partition 數(shù)量: 3
relica 數(shù)量:2
broker數(shù)量:2 ;broker.id分別是0,1

topic-B 詳細(xì)信息展示:

Topic:topic-B      Partition: 0       Leader: 0          Replicas: 0,1      Isr:   0,1
Topic:topic-B      Partition: 1       Leader: 1          Replicas: 1,0      Isr:   1,0
Topic:topic-B      Partition: 2       Leader: 0          Replicas: 0,1      Isr:   0,1

當(dāng)需要提高系統(tǒng)的可擴(kuò)展性,提升集群的速率和吞吐量的時(shí)候,需要增加機(jī)器的數(shù)量,當(dāng)機(jī)器數(shù)量增加的時(shí)候,原本因節(jié)點(diǎn)不足導(dǎo)致partition的leader節(jié)點(diǎn)分布不均衡的缺陷可以得到解決,這個(gè)時(shí)候可以使用kafka-reassign-partitions.sh命令來(lái)對(duì)分區(qū)進(jìn)行重新分配。

注意: Kafka 不會(huì)對(duì)已存在的分區(qū)進(jìn)行均衡分配,所以需要我們手動(dòng)通過(guò)kafka-reassign-partitions.sh命令執(zhí)行分區(qū)分配操作。

2、具體實(shí)現(xiàn)

當(dāng)前集群中有兩個(gè)節(jié)點(diǎn),id分別為0和1;現(xiàn)在再加一個(gè) broker 節(jié)點(diǎn),id 為 2;現(xiàn)在我們手動(dòng)將已存在的topic-B的三個(gè)分區(qū)的leader節(jié)點(diǎn)均勻分布在三個(gè)節(jié)點(diǎn)上,以便實(shí)現(xiàn)盡可能的負(fù)載均衡,提高寫(xiě)入和消費(fèi)速度。

  • 聲明要重新分配分區(qū)的 topic 列表
    可以使用kafka-reassign-partitions.sh命令來(lái)對(duì)topic的分區(qū)進(jìn)行重新分配,但前提是,我們需要先按照要求定義一個(gè)json文件,里面說(shuō)明哪些 topic 需要分配分區(qū)。文件內(nèi)容如下:
cat<<EOF > topic-B-generate.json
{
  "topics": [
    {
      "topic": "topic-B"
    }
  ],
  "version": 1
}
EOF
  • 通過(guò) --topics-to-move-json-file 參數(shù),生成重新分區(qū)分配策略 --generate
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --topics-to-move-json-file topic-B-generate.json --broker-list "0,1,2" --generate

其中–broker-list:值為要分配的 kafka broker id,以逗號(hào)分隔,該參數(shù)必不可少。腳本會(huì)根據(jù)你的 topic-generate.json 文件,獲取 topic 列表,為這些 topic 生成分布在 broker list 上面的分區(qū)分配策略。輸出結(jié)果中有你當(dāng)前的分區(qū)分配策略,也有 Kafka 期望的分配策略,在期望的分區(qū)分配策略里,kafka 已經(jīng)盡可能的為你分配均衡。

Current partition replica assignment 當(dāng)前的分區(qū)分配策略,可以用于備份以及之后的恢復(fù)
Proposed partition reassignment configuration kafka生成的一個(gè)分配均衡的分配策略,可以用于后續(xù)重新分配的執(zhí)行
一個(gè)分配策略示例如下

{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[0,1] ,"log_dirs":["any","any"]}]}

  • 通過(guò) --reassignment-json-file 參數(shù),執(zhí)行分區(qū)分配策略 --execute
    將上述輸出的Proposed partition reassignment configuration中的策略復(fù)制到一個(gè)json文件中,并命名,然后執(zhí)行
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3  --reassignment-json-file partition-replica-reassignment.json --execute
  • 通過(guò) --reassignment-json-file 參數(shù),檢查分區(qū)分配進(jìn)度 --verify
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3  --reassignment-json-file partition-replica-reassignment.json --verify

二、調(diào)整replica的數(shù)量

一般情況下,分區(qū)的副本replica數(shù)量與節(jié)點(diǎn)數(shù)量一致,當(dāng)集群中節(jié)點(diǎn)數(shù)量增加的時(shí)候,一般也需要調(diào)整replica的數(shù)量,一般是會(huì)增大分區(qū)副本數(shù),調(diào)整方法如下:

{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[2,1,0] ,"log_dirs":["any","any"]}]}

其中replicas中存放的是副本所要在的節(jié)點(diǎn),可以通過(guò) 調(diào)整其數(shù)值和順序來(lái)調(diào)整replica的數(shù)量和leader所在的節(jié)點(diǎn)(第一個(gè)就是leader所在節(jié)點(diǎn)),調(diào)整完成之后再進(jìn)行執(zhí)行。

注意: replicas中的值列表是broker id,log_dirs中的列表數(shù)量需要與replicas列表數(shù)量一致;
注意: 每個(gè) partitiion 的所有 replicas 叫做 “assigned replicas” ,“assigned replicas” 中的第一個(gè) replica 叫 “leader”,第二個(gè)叫"preferred replica",當(dāng) kafka leader replica 掛掉的話(huà),partition 會(huì)選擇 “preferred replica” 做為 leader replica 。

三、小結(jié)

  • 1、–generate:配合著 --topics-to-move-json-file 可以生成分區(qū)分配策略,該參數(shù)適用于分區(qū)多的情況。
  • 2、–execute:配合著 --reassignment-json-file 可以執(zhí)行分區(qū)分配策略。
  • 3、–verify:配合著 --reassignment-json-file 可以檢查分區(qū)分配進(jìn)度。

 到此這篇關(guān)于kafka 重新分配partition和調(diào)整replica的數(shù)量實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)kafka 重新分配partition和replica內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 利用Sharding-Jdbc組件實(shí)現(xiàn)分表

    利用Sharding-Jdbc組件實(shí)現(xiàn)分表

    這篇文章主要為大家詳細(xì)介紹了利用Sharding-Jdbc組件實(shí)現(xiàn)分表,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-07-07
  • springboot Quartz動(dòng)態(tài)修改cron表達(dá)式的方法

    springboot Quartz動(dòng)態(tài)修改cron表達(dá)式的方法

    這篇文章主要介紹了springboot Quartz動(dòng)態(tài)修改cron表達(dá)式的方法,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2018-09-09
  • javaweb配置jsp路徑映射操作

    javaweb配置jsp路徑映射操作

    這篇文章主要介紹了javaweb配置jsp路徑映射操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-08-08
  • 一文帶你掌握J(rèn)ava中的HashSet

    一文帶你掌握J(rèn)ava中的HashSet

    HashSet?基于?HashMap?來(lái)實(shí)現(xiàn)的,是一個(gè)不允許有重復(fù)元素的集合,HashSet?不是線(xiàn)程安全的,?如果多個(gè)線(xiàn)程嘗試同時(shí)修改?HashSet,則最終結(jié)果是不確定的,本文將帶你詳細(xì)了解Java中的HashSet,,需要的朋友可以參考下
    2023-05-05
  • Java計(jì)算兩個(gè)時(shí)間段的差的實(shí)例詳解

    Java計(jì)算兩個(gè)時(shí)間段的差的實(shí)例詳解

    在本篇內(nèi)容中,我們給大家整理了關(guān)于Java計(jì)算兩個(gè)時(shí)間段的差的實(shí)例內(nèi)容,并做了詳細(xì)分析,有需要的朋友們學(xué)習(xí)下。
    2022-11-11
  • springboot集成redis lettuce

    springboot集成redis lettuce

    目前java操作redis的客戶(hù)端有jedis跟Lettuce。本文主要介紹了springboot集成redis lettuce,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-09-09
  • java實(shí)現(xiàn)簡(jiǎn)單單鏈表

    java實(shí)現(xiàn)簡(jiǎn)單單鏈表

    這篇文章主要為大家詳細(xì)介紹了java實(shí)現(xiàn)簡(jiǎn)單單鏈表,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-02-02
  • Java使用BigDecimal公式精確計(jì)算及精度丟失問(wèn)題

    Java使用BigDecimal公式精確計(jì)算及精度丟失問(wèn)題

    在工作中經(jīng)常會(huì)遇到數(shù)值精度問(wèn)題,比如說(shuō)使用float或者double的時(shí)候,可能會(huì)有精度丟失問(wèn)題,下面這篇文章主要給大家介紹了關(guān)于Java使用BigDecimal公式精確計(jì)算及精度丟失問(wèn)題的相關(guān)資料,需要的朋友可以參考下
    2023-01-01
  • SpringBoot使用JWT實(shí)現(xiàn)登錄驗(yàn)證的方法示例

    SpringBoot使用JWT實(shí)現(xiàn)登錄驗(yàn)證的方法示例

    這篇文章主要介紹了SpringBoot使用JWT實(shí)現(xiàn)登錄驗(yàn)證的方法示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-06-06
  • 詳解Java 信號(hào)量Semaphore

    詳解Java 信號(hào)量Semaphore

    這篇文章主要介紹了Java 信號(hào)量Semaphore的相關(guān)資料,幫助大家更好的理解和學(xué)習(xí)Java并發(fā),感興趣的朋友可以了解下
    2020-09-09

最新評(píng)論