欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

hadoop入門之hadoop集群驗(yàn)證任務(wù)存放在不同的節(jié)點(diǎn)上

  發(fā)布時(shí)間：2014-02-16 11:02:16   作者：佚名   我要評(píng)論
本文主要介紹了hadoop集群驗(yàn)證任務(wù)存放在不同的節(jié)點(diǎn)上的方法，大家參考使用吧

Linux環(huán)境：CentOs6.4

Hadoop版本：Hadoop-1.1.2

master: 192.168.1.241      NameNode    JobTracker   DataNode   TaskTracker

slave:192.168.1.242    DataNode   TaskTracker

內(nèi)容：想hadoop文件系統(tǒng)中上傳一個(gè)大文件，驗(yàn)證文件分別分布在192.168.1.241節(jié)點(diǎn)和192.168.1.242節(jié)點(diǎn)上。

第一步： 前期工作：搭建Hadoop集群，

在hdfs-site.xml中的配置為2.


復(fù)制代碼
代碼如下:

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

運(yùn)行執(zhí)行start-all.sh命令，運(yùn)行結(jié)果如圖所示：

查看9000和9001的信息

9000是HDFS的入口9001是MapReduce的JobTracker的入口

從以上圖中可以確定Ip地址為192.168.1.241.

第二步：通過(guò)網(wǎng)頁(yè)查看節(jié)點(diǎn)的個(gè)數(shù)。在瀏覽器中輸入http://localhost:50070

以上看到LiveNodes的個(gè)數(shù)為2，說(shuō)明啟動(dòng)成功。

第三步：上傳大文件。具體步驟如圖所示：

通過(guò)網(wǎng)頁(yè)查看運(yùn)行狀況：

大文件已經(jīng)上傳成功.文件的大小是244.91MBlock的大小是64M。所以每個(gè)節(jié)點(diǎn)能夠有4個(gè)Block。

Replication為2，表明每個(gè)Block有2個(gè)備份。

查看節(jié)點(diǎn)的使用情況：

從圖中可以看出，此文件分成了4個(gè)Block。（TotalNumberofblocks：4）。

每個(gè)Block在兩個(gè)節(jié)點(diǎn)上進(jìn)行了備份，分別是192.168.1.241192.168.1.242

hadoop集群至此測(cè)試結(jié)束。測(cè)試成功。

相關(guān)文章

最新評(píng)論