欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

kafka 重新分配partition和調整replica的數量實現

 更新時間:2024年10月11日 11:41:22   作者:husterlichf  
當需要提升Kafka集群的性能和負載均衡時,可通過kafka-reassign-partitions.sh命令手動重新分配Partition,增加節(jié)點后,可以將Topic的Partition的Leader節(jié)點均勻分布,以提高寫入和消費速度,感興趣的可以了解一下

一、重新分配partition

1、環(huán)境準備

kafka 版本:2.13-3.6.1
topic 名字: topic-A
partition 數量: 3
relica 數量:2
broker數量:2 ;broker.id分別是0,1

topic-B 詳細信息展示:

Topic:topic-B      Partition: 0       Leader: 0          Replicas: 0,1      Isr:   0,1
Topic:topic-B      Partition: 1       Leader: 1          Replicas: 1,0      Isr:   1,0
Topic:topic-B      Partition: 2       Leader: 0          Replicas: 0,1      Isr:   0,1

當需要提高系統(tǒng)的可擴展性,提升集群的速率和吞吐量的時候,需要增加機器的數量,當機器數量增加的時候,原本因節(jié)點不足導致partition的leader節(jié)點分布不均衡的缺陷可以得到解決,這個時候可以使用kafka-reassign-partitions.sh命令來對分區(qū)進行重新分配。

注意: Kafka 不會對已存在的分區(qū)進行均衡分配,所以需要我們手動通過kafka-reassign-partitions.sh命令執(zhí)行分區(qū)分配操作。

2、具體實現

當前集群中有兩個節(jié)點,id分別為0和1;現在再加一個 broker 節(jié)點,id 為 2;現在我們手動將已存在的topic-B的三個分區(qū)的leader節(jié)點均勻分布在三個節(jié)點上,以便實現盡可能的負載均衡,提高寫入和消費速度。

  • 聲明要重新分配分區(qū)的 topic 列表
    可以使用kafka-reassign-partitions.sh命令來對topic的分區(qū)進行重新分配,但前提是,我們需要先按照要求定義一個json文件,里面說明哪些 topic 需要分配分區(qū)。文件內容如下:
cat<<EOF > topic-B-generate.json
{
  "topics": [
    {
      "topic": "topic-B"
    }
  ],
  "version": 1
}
EOF
  • 通過 --topics-to-move-json-file 參數,生成重新分區(qū)分配策略 --generate
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --topics-to-move-json-file topic-B-generate.json --broker-list "0,1,2" --generate

其中–broker-list:值為要分配的 kafka broker id,以逗號分隔,該參數必不可少。腳本會根據你的 topic-generate.json 文件,獲取 topic 列表,為這些 topic 生成分布在 broker list 上面的分區(qū)分配策略。輸出結果中有你當前的分區(qū)分配策略,也有 Kafka 期望的分配策略,在期望的分區(qū)分配策略里,kafka 已經盡可能的為你分配均衡。

Current partition replica assignment 當前的分區(qū)分配策略,可以用于備份以及之后的恢復
Proposed partition reassignment configuration kafka生成的一個分配均衡的分配策略,可以用于后續(xù)重新分配的執(zhí)行
一個分配策略示例如下

{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[0,1] ,"log_dirs":["any","any"]}]}

  • 通過 --reassignment-json-file 參數,執(zhí)行分區(qū)分配策略 --execute
    將上述輸出的Proposed partition reassignment configuration中的策略復制到一個json文件中,并命名,然后執(zhí)行
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3  --reassignment-json-file partition-replica-reassignment.json --execute
  • 通過 --reassignment-json-file 參數,檢查分區(qū)分配進度 --verify
./bin/kafka-reassign-partitions.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3  --reassignment-json-file partition-replica-reassignment.json --verify

二、調整replica的數量

一般情況下,分區(qū)的副本replica數量與節(jié)點數量一致,當集群中節(jié)點數量增加的時候,一般也需要調整replica的數量,一般是會增大分區(qū)副本數,調整方法如下:

{"version":1,"partitions":[{"topic":"topic-B","partition":0,"replicas":[0,1,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":1,"replicas":[1,0,2] ,"log_dirs":["any","any"]},{"topic":"topic-B","partition":2,"replicas":[2,1,0] ,"log_dirs":["any","any"]}]}

其中replicas中存放的是副本所要在的節(jié)點,可以通過 調整其數值和順序來調整replica的數量和leader所在的節(jié)點(第一個就是leader所在節(jié)點),調整完成之后再進行執(zhí)行。

注意: replicas中的值列表是broker id,log_dirs中的列表數量需要與replicas列表數量一致;
注意: 每個 partitiion 的所有 replicas 叫做 “assigned replicas” ,“assigned replicas” 中的第一個 replica 叫 “leader”,第二個叫"preferred replica",當 kafka leader replica 掛掉的話,partition 會選擇 “preferred replica” 做為 leader replica 。

三、小結

  • 1、–generate:配合著 --topics-to-move-json-file 可以生成分區(qū)分配策略,該參數適用于分區(qū)多的情況。
  • 2、–execute:配合著 --reassignment-json-file 可以執(zhí)行分區(qū)分配策略。
  • 3、–verify:配合著 --reassignment-json-file 可以檢查分區(qū)分配進度。

 到此這篇關于kafka 重新分配partition和調整replica的數量實現的文章就介紹到這了,更多相關kafka 重新分配partition和replica內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • 利用Sharding-Jdbc組件實現分表

    利用Sharding-Jdbc組件實現分表

    這篇文章主要為大家詳細介紹了利用Sharding-Jdbc組件實現分表,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-07-07
  • springboot Quartz動態(tài)修改cron表達式的方法

    springboot Quartz動態(tài)修改cron表達式的方法

    這篇文章主要介紹了springboot Quartz動態(tài)修改cron表達式的方法,小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-09-09
  • javaweb配置jsp路徑映射操作

    javaweb配置jsp路徑映射操作

    這篇文章主要介紹了javaweb配置jsp路徑映射操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-08-08
  • 一文帶你掌握Java中的HashSet

    一文帶你掌握Java中的HashSet

    HashSet?基于?HashMap?來實現的,是一個不允許有重復元素的集合,HashSet?不是線程安全的,?如果多個線程嘗試同時修改?HashSet,則最終結果是不確定的,本文將帶你詳細了解Java中的HashSet,,需要的朋友可以參考下
    2023-05-05
  • Java計算兩個時間段的差的實例詳解

    Java計算兩個時間段的差的實例詳解

    在本篇內容中,我們給大家整理了關于Java計算兩個時間段的差的實例內容,并做了詳細分析,有需要的朋友們學習下。
    2022-11-11
  • springboot集成redis lettuce

    springboot集成redis lettuce

    目前java操作redis的客戶端有jedis跟Lettuce。本文主要介紹了springboot集成redis lettuce,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-09-09
  • java實現簡單單鏈表

    java實現簡單單鏈表

    這篇文章主要為大家詳細介紹了java實現簡單單鏈表,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-02-02
  • Java使用BigDecimal公式精確計算及精度丟失問題

    Java使用BigDecimal公式精確計算及精度丟失問題

    在工作中經常會遇到數值精度問題,比如說使用float或者double的時候,可能會有精度丟失問題,下面這篇文章主要給大家介紹了關于Java使用BigDecimal公式精確計算及精度丟失問題的相關資料,需要的朋友可以參考下
    2023-01-01
  • SpringBoot使用JWT實現登錄驗證的方法示例

    SpringBoot使用JWT實現登錄驗證的方法示例

    這篇文章主要介紹了SpringBoot使用JWT實現登錄驗證的方法示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-06-06
  • 詳解Java 信號量Semaphore

    詳解Java 信號量Semaphore

    這篇文章主要介紹了Java 信號量Semaphore的相關資料,幫助大家更好的理解和學習Java并發(fā),感興趣的朋友可以了解下
    2020-09-09

最新評論