一. 前言

1.NameNode架構(gòu)的局限性

（1）Namespace（命名空間）的限制

由于NameNode在內(nèi)存中存儲所有的元數(shù)據(jù)（metadata），因此單個NameNode所能存儲的對象（文件+塊）數(shù)目受到NameNode所在JVM的heap size的限制。50G的heap能夠存儲20億（200million）個對象，這20億個對象支持4000個DataNode，12PB的存儲（假設(shè)文件平均大小為40MB）。隨著數(shù)據(jù)的飛速增長，存儲的需求也隨之增長。單個DataNode從4T增長到36T，集群的尺寸增長到8000個DataNode。存儲的需求從12PB增長到大于100PB。

（2）隔離問題

由于HDFS僅有一個NameNode，無法隔離各個程序，因此HDFS上的一個實驗程序就很有可能影響整個HDFS上運行的程序。

（3）性能的瓶頸

由于是單個NameNode的HDFS架構(gòu)，因此整個HDFS文件系統(tǒng)的吞吐量受限于單個NameNode的吞吐量。

2.HDFS Federation架構(gòu)設(shè)計，如圖所示

能不能有多個NameNode

HDFS Federation架構(gòu)設(shè)計

二.實現(xiàn)

NameNode HA是為了解決NameNode可用性的問題，而NameNode Federation則主要是為了解決NameNode擴展性，隔離性，以及單個NameNode性能方面的問題。NameNode Federation架構(gòu)如下：

NameNode Federation使用了多個命名空間，這些命名空間互相獨立，自制（其實是對元數(shù)據(jù)的水平切分），而集群中所有DataNode向所有NameNode都進行注冊，而一個塊池（block pool）有屬于同一個命名空間的數(shù)據(jù)塊組成，每個DataNode可能會存儲集群中所有塊池的數(shù)據(jù)塊，每個塊池互相獨立，有一個掛掉了也不會影響其他塊池正常工作。

同時部署了NameNode HA和NameNode Federation時，集群結(jié)構(gòu)會相對復(fù)雜一點，如下圖。在實際的生成環(huán)境中，NameNode HA幾乎是必備，而當(dāng)集群規(guī)模在1000臺以下時，幾乎是不需要NameNode Federation的。

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接

最新評論