欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

官方詳解HDFS?Balancer工具主要調優(yōu)參數(shù)

 更新時間:2023年03月31日 11:18:25   作者:阿里云  
這篇文章主要為大家介紹了HDFS?Balancer工具主要調優(yōu)參數(shù)的?官方詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪

引言

HDFS Balancer工具可以用來分析塊的分布情況,并且可以重新分配DataNode中的數(shù)據(jù)。本文通過為您介紹如何使用HDFS Balancer工具以及Balancer的主要調優(yōu)參數(shù)。

使用HDFS Balancer

方式一:使用HDFS Balancer命令

HDFS Balancer命令語句如下。

hdfs balancer
[-threshold <threshold>]
[-policy <policy>]
[-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
[-include [-f <hosts-file> | <comma-separated list of hosts>]]
[-source [-f <hosts-file> | <comma-separated list of hosts>]]
[-blockpools <comma-separated list of blockpool ids>]
[-idleiterations <idleiterations>]

Balancer主要參數(shù)如下表。

參數(shù)描述
threshold磁盤容量的百分數(shù)。

默認值為10%,表示上下浮動10%。

當集群總使用率較高時,需要調小Threshold,避免閾值過高。

當集群新增節(jié)點較多時,您可以適當增加Threshold,使數(shù)據(jù)從高使用率節(jié)點移向低使用率節(jié)點。

policy平衡策略。支持以下策略:
  • datanode(默認):當每一個DataNode是平衡的時候,集群就是平衡的。
  • blockpool:當每一個DataNode中的blockpool是平衡的,集群就是平衡的。
excludeBalancer排除特定的DataNode。
includeBalancer僅對特定的DataNode進行平衡操作。
source僅選擇特定的DataNode作為源節(jié)點。
blockpoolsBalancer僅在指定的blockpools中運行。
idleiterations最多允許的空閑循環(huán)次數(shù)。覆蓋默認的5次。

方式二:使用start-balancer.sh工具

start-balancer.sh實際上是調用hdfs daemon start balancer命令。使用方式如下:

  • 登錄待配置集群的任意節(jié)點,詳情請參見登錄集群。

可選:執(zhí)行以下命令,修改Balancer的最大帶寬。

hdfs dfsadmin -setBalancerBandwidth &lt;bandwidth in bytes per second&gt;

說明 <bandwidth in bytes per second>為設置的最大帶寬。例如,如果需要設置最大帶寬為20 MB/s,對應值為20971520,則完整代碼示例為hdfs dfsadmin -setBalancerBandwidth 20971520。如果集群負載較高,建議設置為209715200(200 MB/s);如果集群空閑,建議設置為1073741824(1 GB/s)。

  • 執(zhí)行以下命令,切換到hdfs用戶并執(zhí)行Balancer參數(shù)。

DataLake集群

su hdfs
/opt/apps/HDFS/hdfs-current/sbin/start-balancer.sh -threshold 5

Hadoop集群

su hdfs
/usr/lib/hadoop-current/sbin/start-balancer.sh -threshold 5
  • 執(zhí)行以下命令,進入HDFS安裝目錄。

DataLake集群

cd /var/log/emr/hadoop/

Hadoop集群

cd /var/log/hadoop-hdfs

執(zhí)行以下命令,查看Balancer運行情況。

當提示信息包含Successfully字樣時,表示執(zhí)行成功。

DataLake集群

tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log

Hadoop集群

tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log

說明 命令中的hadoop-hdfs-balancer-master-1-1.c-xxx.loghadoop-hdfs-balancer-emr-header-xx.cluster-xxx.log為上一步驟中獲取到的日志名稱。

Balancer調優(yōu)參數(shù)

執(zhí)行Balancer會占用一定的系統(tǒng)資源,建議在業(yè)務空閑期執(zhí)行。默認情況下,不需要對HDFS Balancer參數(shù)進行額外調整。當需要對Balancer參數(shù)進行額外調整時,您可以在E-MapReduce控制臺的HDFS服務頁面,選擇配置 > hdfs-site.xml,調整以下兩類配置。

客戶端配置

參數(shù)描述
dfs.balancer.dispatcherThreadsBalancer在移動Block之前,每次迭代時查詢出一個Block列表,分發(fā)給Mover線程使用。

說明 dispatcherThreads是該分發(fā)線程的個數(shù),默認為200。

dfs.balancer.rpc.per.sec默認值為20,即每秒發(fā)送的RPC數(shù)量為20。

因為分發(fā)線程調用大量getBlocks的RPC查詢,所以為了避免NameNode由于分發(fā)線程壓力過大,需要控制分發(fā)線程RPC的發(fā)送速度。

例如,您可以在負載高的集群調整參數(shù)值,減小10或者5,對整體移動進度不會產生特別大的影響。

dfs.balancer.getBlocks.sizeBalancer會在移動Block前,每次迭代時查詢出一個Block列表,給Mover線程使用,默認Block列表中Block的大小為2 GB。因為getBlocks過程會對RPC進行加鎖,所以您可以根據(jù)NameNode壓力進行調整。
dfs.balancer.moverThreads默認值為1000。

Balancer處理移動Block的線程數(shù),每個Block移動時會使用一個線程。

DataNode配置

參數(shù)描述
dfs.datanode.balance.bandwidthPerSec

指定DataNode用于Balancer的帶寬,通常推薦設置為100 MB/s,您也可以通過dfsadmin -setBalancerBandwidth 參數(shù)進行適當調整,無需重啟DataNode。

例如,在負載低時,增加Balancer的帶寬。在負載高時,減少Balancer的帶寬。

dfs.datanode.balance.max.concurrent.moves

默認值為5。

指定DataNode節(jié)點并發(fā)移動的最大個數(shù)。通??紤]和磁盤數(shù)匹配,推薦在DataNode端設置為4 * 磁盤數(shù)作為上限,可以使用Balancer的值進行調節(jié)。

例如:一個DataNode有28塊盤,在Balancer端設置為28,DataNode端設置為28 * 4。具體使用時根據(jù)集群負載適當調整。在負載較低時,增加concurrent數(shù);在負載較高時,減少concurrent數(shù)。

常見問題

Q:為什么Balancer的threshold設置為10(%),但是平衡以后看到差值為20%左右?

A:threshold的含義是控制每個DataNode的使用率不高于或者不低于集群平均的使用率,所以使用率最多和最少的DataNode在平衡后可能差值為20%。要減少這種差距,可以嘗試把差值調節(jié)到5(%)。

以上就是官方詳解HDFS Balancer工具主要調優(yōu)參數(shù)的詳細內容,更多關于HDFS Balancer工具參數(shù)調優(yōu)的資料請關注腳本之家其它相關文章!

相關文章

  • 如何利用 Either 和 Option 進行函數(shù)式錯誤處理

    如何利用 Either 和 Option 進行函數(shù)式錯誤處理

    這篇文章主要介紹了如何利用 Either 和 Option 進行函數(shù)式錯誤處理。在 Java 中,錯誤的處理在傳統(tǒng)上由異常以及創(chuàng)建和傳播異常的語言支持進行。但是,如果不存在結構化異常處理又如何呢?,需要的朋友可以參考下
    2019-06-06
  • java單例模式使用及注意事項

    java單例模式使用及注意事項

    這篇文章主要介紹了java單例模式使用及注意事項,需要的朋友可以參考下
    2014-04-04
  • 解決JPA @OneToMany及懶加載無效的問題

    解決JPA @OneToMany及懶加載無效的問題

    這篇文章主要介紹了解決JPA @OneToMany及懶加載無效的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-10-10
  • Java?Map.values()方法之如何獲取Map集合中的所有鍵值對象

    Java?Map.values()方法之如何獲取Map集合中的所有鍵值對象

    這篇文章主要介紹了Java?Map.values()方法之如何獲取Map集合中的所有鍵值對象問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-03-03
  • 計算機編程語言發(fā)展史

    計算機編程語言發(fā)展史

    這篇文章主要介紹了Java計算機編程語言發(fā)展史,編程語言?可以簡單的理解為一種計算機和人都能識別的語言。一種計算機語言讓程序員能夠準確地定義計算機所需要使用的數(shù)據(jù),并精確地定義在不同情況下所應當采取的行動,下面詳細內容,需要的小伙伴可以參考一下
    2022-01-01
  • SpringBoot整合canal實現(xiàn)數(shù)據(jù)同步的示例代碼

    SpringBoot整合canal實現(xiàn)數(shù)據(jù)同步的示例代碼

    本文主要介紹了SpringBoot整合canal實現(xiàn)數(shù)據(jù)同步,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-03-03
  • 深入解析Java的包(package)

    深入解析Java的包(package)

    這篇文章主要介紹了深入解析Java的包(package),是Java入門學習中的基礎知識,需要的朋友可以參考下
    2015-09-09
  • Java使用poi將word轉換為html

    Java使用poi將word轉換為html

    這篇文章主要為大家詳細介紹了Java使用poi將word轉換為html的相關資料,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2016-12-12
  • Java 反射機制詳解及實例

    Java 反射機制詳解及實例

    這篇文章主要介紹了Java 反射機制詳解及實例的相關資料,需要的朋友可以參考下
    2017-03-03
  • 利用反射獲取Java類中的靜態(tài)變量名及變量值的簡單實例

    利用反射獲取Java類中的靜態(tài)變量名及變量值的簡單實例

    下面小編就為大家?guī)硪黄梅瓷浍@取Java類中的靜態(tài)變量名及變量值的簡單實例。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2016-12-12

最新評論