HDFS 命名節(jié)點對數(shù)據(jù)節(jié)點的遠程控制是通過 SSH 來實現(xiàn)的，因此關鍵的配置項應該在命名節(jié)點被配置，非關鍵的節(jié)點配置要在各個數(shù)據(jù)節(jié)點配置。也就是說，數(shù)據(jù)節(jié)點與命名節(jié)點的配置可以不同，不同數(shù)據(jù)節(jié)點之間的配置也可以有所不同。

但是本章為了方便建立集群，將使用相同的配置文件通過 Docker 鏡像的形式同步到所有的集群節(jié)點，特做解釋。

具體步驟

總體思路是這樣的，我們先用一個包含 Hadoop 的鏡像進行配置，配置成集群中所有節(jié)點都可以共用的樣子，然后再以它為原型生成若干個容器，構成一個集群。

配置原型

首先，我們將使用之前準備的 hadoop_proto 鏡像啟動為容器：

docker run -d --name=hadoop_temp --privileged hadoop_proto /usr/sbin/init

進入 Hadoop 的配置文件目錄：

cd $HADOOP_HOME/etc/hadoop

現(xiàn)在對這里的文件的作用做簡單的描述：

文件	作用
workers	記錄所有的數(shù)據(jù)節(jié)點的主機名或 IP 地址
core-site.xml	Hadoop 核心配置
hdfs-site.xml	HDFS 配置項
mapred-site.xml	MapReduce 配置項
yarn-site.xml	YARN 配置項

注：YARN 的作用是為 MapReduce 提供資源管理服務，此處暫時用不著。

我們現(xiàn)在設計這樣一個簡單的集群：

1 個命名節(jié)點 nn
2 個數(shù)據(jù)節(jié)點 dn1, dn2

首先編輯 workers ，更改文件內容為：

dn1
???????dn2

然后編輯 core-site.xml，在中添加以下配置項：

<!-- 配置 HDFS 主機地址與端口號 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://nn:9000</value>
</property>
<!-- 配置 Hadoop 的臨時文件目錄 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:///home/hadoop/tmp</value>
</property>

配置 hdfs-site.xml，在中添加以下配置項：

<!-- 每個數(shù)據(jù)塊復制 2 份存儲 -->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<!-- 設置儲存命名信息的目錄 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///home/hadoop/hdfs/name</value>
</property>

最后需要配置一下 SSH ：

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsassh-copy-id -i ~/.ssh/id_rsa hadoop@localhost

到此為止，集群的原型就配置完畢了，可以退出容器并上傳容器到新鏡像 cluster_proto ：

docker stop hadoop_tempdocker commit hadoop_temp cluster_proto

此處如果有必要可以刪除臨時鏡像 hadoop_temp 。

部署集群

接下來部署集群。

首先，要為 Hadoop 集群建立專用網(wǎng)絡 hnet ：

docker network create --subnet=172.20.0.0/16 hnet

接下來創(chuàng)建集群容器：

docker run -d --name=nn --hostname=nn --network=hnet --ip=172.20.1.0 --add-host=dn1:172.20.1.1 --add-host=dn2:172.20.1.2 --privileged cluster_proto /usr/sbin/init
docker run -d --name=dn1 --hostname=dn1 --network=hnet --ip=172.20.1.1 --add-host=nn:172.20.1.0 --add-host=dn2:172.20.1.2 --privileged cluster_proto /usr/sbin/init
docker run -d --name=dn2 --hostname=dn2 --network=hnet --ip=172.20.1.2 --add-host=nn:172.20.1.0 --add-host=dn1:172.20.1.1 --privileged cluster_proto /usr/sbin/init

進入命名節(jié)點：