Hadoop上Data Locality的詳解
Hadoop上Data Locality的詳解
Hadoop上的Data Locality是指數(shù)據(jù)與Mapper任務(wù)運行時數(shù)據(jù)的距離接近程度（Data Locality in Hadoop refers to the“proximity” of the data with respect to the Mapper tasks working on the data.）
1. why data locality is imporant?
當(dāng)數(shù)據(jù)集存儲在HDFS中時，它被劃分為塊并存儲在Hadoop集群中的DataNode上。當(dāng)在數(shù)據(jù)集執(zhí)行MapReduce作業(yè)時，各個Mappers將處理這些塊（輸進行入分片處理）。如果Mapper不能從它執(zhí)行的節(jié)點上獲取數(shù)據(jù)，數(shù)據(jù)需要通過網(wǎng)絡(luò)從具有這些數(shù)據(jù)的DataNode拷貝到執(zhí)行Mapper任務(wù)的節(jié)點上（the data needs to be copied over the network from the DataNode which has the data to the DataNode which is executing the Mapper task）。假設(shè)一個MapReduce作業(yè)具有超過1000個Mapper，在同一時間每一個Mapper都試著去從集群上另一個DataNode節(jié)點上拷貝數(shù)據(jù)，這將導(dǎo)致嚴(yán)重的網(wǎng)絡(luò)阻塞，因為所有的Mapper都嘗試在同一時間拷貝數(shù)據(jù)（這不是一種理想的方法）。因此，將計算任務(wù)移動到更接近數(shù)據(jù)的節(jié)點上是一種更有效與廉價的方法，相比于將數(shù)據(jù)移動到更接近計算任務(wù)的節(jié)點上（it is always effective and cheap to move the computation closer to the data than to move the data closer to the computation）。
2. How is data proximity defined?
當(dāng)JobTracker（MRv1）或ApplicationMaster（MRv2）接收到運行作業(yè)的請求時，它查看集群中的哪些節(jié)點有足夠的資源來執(zhí)行該作業(yè)的Mappers和Reducers。同時需要根據(jù)Mapper運行數(shù)據(jù)所處位置來考慮決定每個Mapper執(zhí)行的節(jié)點（serious consideration is made to decide on which nodes the individual Mappers will be executed based on where the data for the Mapper is located）。
3. Data Local
當(dāng)數(shù)據(jù)所處的節(jié)點與Mapper執(zhí)行的節(jié)點是同一節(jié)點，我們稱之為Data Local。在這種情況下，數(shù)據(jù)的接近度更接近計算（ In this case the proximity of the data is closer to the computation.）。JobTracker（MRv1）或ApplicationMaster（MRv2）首選具有Mapper所需要數(shù)據(jù)的節(jié)點來執(zhí)行Mapper。
4. Rack Local
雖然Data Local是理想的選擇，但由于受限于集群上的資源，并不總是在與數(shù)據(jù)同一節(jié)點上執(zhí)行Mapper（Although Data Local is the ideal choice, it is not always possible to execute the Mapper on the same node as the data due to resource constraints on a busy cluster）。在這種情況下，優(yōu)選地選擇在那些與數(shù)據(jù)節(jié)點在同一機架上的不同節(jié)點上運行Mapper（ In such instances it is preferred to run the Mapper on a different node but on the same rack as the node which has the data.）。在這種情況下，數(shù)據(jù)將在節(jié)點之間進行移動，從具有數(shù)據(jù)的節(jié)點移動到在同一機架上執(zhí)行Mapper的節(jié)點，這種情況我們稱之為Rack Local。
5. Different Rack
在繁忙的群集中，有時Rack Local也不可能。在這種情況下，選擇不同機架上的節(jié)點來執(zhí)行Mapper，并且將數(shù)據(jù)從具有數(shù)據(jù)的節(jié)點復(fù)制到在不同機架上執(zhí)行Mapper的節(jié)點。這是最不可取的情況。
如有疑問請留言或者到本站社區(qū)交流討論，感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！
相關(guān)文章
springboot+element-ui實現(xiàn)多文件一次上傳功能
這篇文章主要介紹了springboot+element-ui多文件一次上傳功能，本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-06-06
Guava?Collect是Guava工具包中的一個子模塊，主要對jdk中的集合操作添加了一些簡易的API，同時也是對Collections工具類的擴展。本文將結(jié)合實例詳細(xì)說說它的使用，需要的可以參考一下2022-10-10
Stream?API?提供了一種更為簡潔高效的的方式來處理集合數(shù)據(jù),??可讀性較高,?所以本文為大家整理了Java?Stream中的常用方法，希望對大家有所幫助2023-07-07
這篇文章主要介紹了Java設(shè)計模式之建造者模式,結(jié)合具體實例形式分析了建造者模式的概念、原理、實現(xiàn)方法與相關(guān)使用注意事項,需要的朋友可以參考下2021-07-07
SpringBoot配置文件中數(shù)據(jù)庫密碼加密兩種方案(推薦)
SpringBoot項目經(jīng)常將連接數(shù)據(jù)庫的密碼明文放在配置文件里，安全性就比較低一些，尤其在一些企業(yè)對安全性要求很高，因此我們就考慮如何對密碼進行加密，文中給大家介紹加密的兩種方式，感興趣的朋友一起看看吧2019-10-10
springcloud微服務(wù)基于redis集群的單點登錄實現(xiàn)解析
這篇文章主要介紹了springcloud微服務(wù)基于redis集群的單點登錄實現(xiàn)解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09
SpringBoot配置lombok與logback過程解析
這篇文章主要介紹了SpringBoot配置lombok與logback過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-05-05
這篇文章主要介紹了Java中super和this的用法詳解,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-08-08
這篇文章主要介紹了Struts2數(shù)據(jù)輸入驗證教程詳解的相關(guān)資料,輸入數(shù)據(jù)驗證的方法有兩種，本文給大家介紹的非常詳細(xì)，需要的朋友可以參考下2016-10-10
這篇文章主要介紹了Mybatis Plus插件三種方式的逆向工程的使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11