HDFS?Balancer負(fù)載均衡器及語法詳解
更新時(shí)間：2023年03月31日 11:24:22 作者：huan1993
這篇文章主要為大家介紹了HDFS?Balancer負(fù)載均衡器及語法詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
1、背景
當(dāng)我們的hadoop集群運(yùn)行了一段時(shí)間之后，各個(gè)DataNode上的數(shù)據(jù)分布并不一定是均勻分布的。比如說： 我們向現(xiàn)有集群中添加了一個(gè)新的DataNode。
2、什么是平衡
此處是我自己的一個(gè)簡(jiǎn)單的理解
所謂的平衡指的是 每個(gè)DataNode的利用率 與 集群的利用率 之間相差不超過給定的閾值百分比。此處的平衡 指的是各個(gè)DataNode之間的平衡，同一個(gè)DataNode之間的各個(gè)磁盤是不會(huì)平衡的。
2.1 每個(gè)DataNode的利用率計(jì)算
DataNode的利用率= dfs已用的空間 / 分配給dfs的空間。
注意： 分配給dfs的空間 不是磁盤的總空間。
2.2 集群的利用率
集群的利用率= 各datanode dfs已使用的空間 / 各datanode總空間
2.3 平衡
假設(shè)平衡的閾值是 5%，集群的利用率是 37.5，那么每個(gè)節(jié)點(diǎn)的利用率在32.5%到42.5%之間都認(rèn)為是均衡的。也就是說，極端情況下，DataNode的利用率最大相差10%。
3、hdfs balancer語法
[hadoopdeploy@hadoop01 ~]$ hdfs balancer --help Usage: hdfs balancer [-policy <policy>] the balancing policy: datanode or blockpool [-threshold <threshold>] Percentage of disk capacity [-exclude [-f <hosts-file> | <comma-separated list of hosts>]] Excludes the specified datanodes. [-include [-f <hosts-file> | <comma-separated list of hosts>]] Includes only the specified datanodes. [-source [-f <hosts-file> | <comma-separated list of hosts>]] Pick only the specified datanodes as source nodes. [-blockpools <comma-separated list of blockpool ids>] The balancer will only run on blockpools included in this list. [-idleiterations <idleiterations>] Number of consecutive idle iterations (-1 for Infinite) before exit. [-runDuringUpgrade] Whether to run the balancer during an ongoing HDFS upgrade.This is usually not desired since it will not affect used space on over-utilized machines. [-asService] Run as a long running service. Generic options supported are: -conf <configuration file> specify an application configuration file -D <property=value> define a value for a given property -fs <file:///|hdfs://namenode:port> specify default filesystem URL to use, overrides 'fs.defaultFS' property from configurations. -jt <local|resourcemanager:port> specify a ResourceManager -files <file1,...> specify a comma-separated list of files to be copied to the map reduce cluster -libjars <jar1,...> specify a comma-separated list of jar files to be included in the classpath -archives <archive1,...> specify a comma-separated list of archives to be unarchived on the compute machines The general command line syntax is: command [genericOptions] [commandOptions]
| 參數(shù) | 描述 |
|---|---|
| threshold | 磁盤容量的百分比。默認(rèn)值為10%，表示上下浮動(dòng)10%。 |
| policy | 平衡策略。 datanode（默認(rèn)）：當(dāng)每一個(gè)DataNode是平衡的時(shí)候，集群就是平衡的。 blockpool：當(dāng)每一個(gè)DataNode中的blockpool是平衡的，集群就是平衡的。 |
| exclude | 不參與平衡的DataNode節(jié)點(diǎn) |
| include | 參與平衡的DataNode節(jié)點(diǎn) |
| source | 僅選取指定的數(shù)據(jù)節(jié)點(diǎn)作為源節(jié)點(diǎn) |
| blockpools | Balancer僅在指定的blockpools中運(yùn)行 |
| idleiterations | 退出前的連續(xù)空閑迭代次數(shù)（-1表示無限） |
| -runDuringUpgrade | 是否在正在進(jìn)行的HDFS升級(jí)過程中運(yùn)行平衡器。通常不需要這樣做，因?yàn)檫@不會(huì)影響過度使用的計(jì)算機(jī)上的已用空間。 |
| -asService | 作為長(zhǎng)期運(yùn)行的服務(wù)運(yùn)行 |
4、運(yùn)行一個(gè)簡(jiǎn)單的balance案例
4.1 設(shè)置平衡數(shù)據(jù)傳輸帶寬
[hadoopdeploy@hadoop01 ~]$ hdfs dfsadmin -setBalancerBandwidth 10485760 Balancer bandwidth is set to 10485760 [hadoopdeploy@hadoop01 ~]$
當(dāng)我們的集群負(fù)載需要調(diào)低這個(gè)值，當(dāng)我們的集群負(fù)載較低時(shí)，可以適當(dāng)調(diào)高這個(gè)值。
4.2 執(zhí)行banalce
[hadoopdeploy@hadoop01 ~]$ hdfs balancer -policy datanode -threshold 5 2023-03-26 14:10:09,785 INFO balancer.Balancer: Using a threshold of 5.0 2023-03-26 14:10:09,786 INFO balancer.Balancer: namenodes = [hdfs://hadoop01:8020] 2023-03-26 14:10:09,786 INFO balancer.Balancer: parameters = Balancer.BalancerParameters [BalancingPolicy.Node, threshold = 5.0, max idle iteration = 5, #excluded nodes = 0, #included nodes = 0, #source nodes = 0, #blockpools = 0, run during upgrade = false] 2023-03-26 14:10:09,786 INFO balancer.Balancer: included nodes = [] 2023-03-26 14:10:09,786 INFO balancer.Balancer: excluded nodes = [] 2023-03-26 14:10:09,786 INFO balancer.Balancer: source nodes = [] Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved NameNode 2023-03-26 14:10:09,787 INFO balancer.NameNodeConnector: getBlocks calls for hdfs://hadoop01:8020 will be rate-limited to 20 per second 2023-03-26 14:10:10,392 INFO balancer.Balancer: dfs.namenode.get-blocks.max-qps = 20 (default=20) 2023-03-26 14:10:10,392 INFO balancer.Balancer: dfs.balancer.movedWinWidth = 5400000 (default=5400000) 2023-03-26 14:10:10,392 INFO balancer.Balancer: dfs.balancer.moverThreads = 1000 (default=1000) 2023-03-26 14:10:10,392 INFO balancer.Balancer: dfs.balancer.dispatcherThreads = 200 (default=200) 2023-03-26 14:10:10,392 INFO balancer.Balancer: dfs.balancer.getBlocks.size = 2147483648 (default=2147483648) 2023-03-26 14:10:10,392 INFO balancer.Balancer: dfs.balancer.getBlocks.min-block-size = 10485760 (default=10485760) 2023-03-26 14:10:10,392 INFO balancer.Balancer: dfs.datanode.balance.max.concurrent.moves = 100 (default=100) 2023-03-26 14:10:10,392 INFO balancer.Balancer: dfs.datanode.balance.bandwidthPerSec = 104857600 (default=104857600) 2023-03-26 14:10:10,395 INFO balancer.Balancer: dfs.balancer.max-size-to-move = 10737418240 (default=10737418240) 2023-03-26 14:10:10,395 INFO balancer.Balancer: dfs.blocksize = 134217728 (default=134217728) 2023-03-26 14:10:10,401 INFO net.NetworkTopology: Adding a new node: /default-rack/192.168.121.141:9866 2023-03-26 14:10:10,401 INFO net.NetworkTopology: Adding a new node: /default-rack/192.168.121.140:9866 2023-03-26 14:10:10,401 INFO net.NetworkTopology: Adding a new node: /default-rack/192.168.121.142:9866 2023-03-26 14:10:10,402 INFO balancer.Balancer: 0 over-utilized: [] 2023-03-26 14:10:10,402 INFO balancer.Balancer: 0 underutilized: [] 2023-3-26 14:10:10 0 0 B 0 B 0 B 0 hdfs://hadoop01:8020 The cluster is balanced. Exiting... 2023-3-26 14:10:10 Balancing took 810.0 milliseconds [hadoopdeploy@hadoop01 ~]$
5、參考文檔
1、hadoop.apache.org/docs/curren…
2、http://www.dbjr.com.cn/article/279671.htm
以上就是HDFS Balancer負(fù)載均衡器及語法詳解的詳細(xì)內(nèi)容，更多關(guān)于HDFS Balancer負(fù)載均衡器的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
基于HttpServletResponse 相關(guān)常用方法的應(yīng)用
本篇文章小編為大家介紹，基于HttpServletResponse 相關(guān)常用方法的應(yīng)用，需要的朋友參考下2013-04-04
springboot結(jié)合前端實(shí)現(xiàn)網(wǎng)頁跳轉(zhuǎn)功能實(shí)例
今天處理Springboot統(tǒng)一異常攔截的時(shí)候,遇到了頁面跳轉(zhuǎn)的問題,這篇文章主要給大家介紹了關(guān)于springboot結(jié)合前端實(shí)現(xiàn)網(wǎng)頁跳轉(zhuǎn)功能的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-12-12
這篇文章主要介紹了java 中clone()的使用方法的相關(guān)資料,希望通過本文能幫助大家能掌握clone（）的克隆方法，需要的朋友可以參考下2017-09-09
深入理解Spring MVC的數(shù)據(jù)轉(zhuǎn)換
這篇文章主要給大家介紹了關(guān)于Spring MVC數(shù)據(jù)轉(zhuǎn)換的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起看看吧。2017-09-09
Java?超詳細(xì)講解類的定義方式和對(duì)象的實(shí)例化
Java是一門純面向?qū)ο蟮恼Z言（Object?Oriented?Program,繼承OOP），在面對(duì)對(duì)象的世界里面，一切皆為對(duì)象。面向?qū)ο笫墙鉀Q問題的一種思想，主要依靠對(duì)象之間的交互完成一件事情2022-03-03
map內(nèi)部是按照hash算法存儲(chǔ)的，但如果能對(duì)map排序在某些時(shí)候還是有用的，下面實(shí)現(xiàn)對(duì)map按照value升序排序，實(shí)現(xiàn)對(duì)map按照key排序，大家參考使用吧2014-01-01
@FeignClient?實(shí)現(xiàn)簡(jiǎn)便http請(qǐng)求封裝方式
這篇文章主要介紹了@FeignClient?實(shí)現(xiàn)簡(jiǎn)便http請(qǐng)求封裝方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-03-03
這篇文章主要介紹了Java的集合LinkedHashSet詳解,LinkedHashSet介于HashSet和TreeSet之間,它也是一個(gè)hash表,但是同時(shí)維護(hù)了一個(gè)雙鏈表來記錄插入的順序,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了淺談IDEA2018打包可執(zhí)行jar包的流程,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
這篇文章主要介紹了java中的前++和后++的區(qū)別示例代碼詳解，其實(shí)大家只要記住一句話就可以了，前++是先自加再使用而后++是先使用再自加，本文通過代碼給大家詳細(xì)解說，感興趣的朋友跟隨小編一起看看吧2020-06-06