先說結(jié)論

一般在網(wǎng)上搜索這個問題都是讓重新格式化namenode(當(dāng)然，格式化之前要記得清空namenode和DataNode文件夾)。

但是對于我之前遇到的問題卻沒法解決。

我的做法是

檢查你的hadoop的配置文件是否填寫正確

我的hadoop的hdfs-site.xml中的主機(jī)IP地址未填寫正確

導(dǎo)致啟動集群服務(wù)后namenode啟動不上

hdfs當(dāng)然也沒法用

我的虛擬機(jī)會產(chǎn)生這個問題主要是虛擬機(jī)的IP地址發(fā)生了改變，在這里我簡單記錄一下發(fā)生這種問題怎么處理，也方便我以后參閱。

• 1.首先查明每臺虛擬機(jī)的IP地址，修改 etc/hosts文件。
• 2.保證每臺虛擬機(jī)能互ping，ssh免密碼登錄可以使用。
• 3.修改hadoop文件夾中 etc/hadoop中的core-site.xml、hdfs-site.xml、和zookeeper文件夾（如果安裝了zookeeper的話）中的zoo.cfg 文件
• 4.格式化節(jié)點(diǎn)（hadoop-2.9.2/bin/hdfs namenode -format），如果所有虛擬機(jī)的IP地址都發(fā)生了改變，那么就都要格式化，格式化之前要記得清空namenode和DataNode文件夾，并修改namenode和DataNode文件夾的權(quán)限（chmod 777 namenode）
• 5.最后再啟動集群 hadoop-2.9.2/sbin/start-all.sh，以后關(guān)閉集群最好使用stop-all.sh
• 6.先試試用命令上傳文件到hdfs是否成功（hadoop-2.9.2/bin/hdfs dfs -put student.txt /tmp/），然后再試著用瀏覽器訪問虛擬機(jī)50070端口，如果都能調(diào)試成功再試著用java或者python等腳本操作hdfs。

總結(jié)

以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論