Hadoop datanode重新加載失敗無法啟動現(xiàn)象解決方法介紹

筆者使用的是基于虛擬機的Hadoop分布式安裝,由于關(guān)閉datanode和namenode的順序不恰當(dāng),所以經(jīng)常會出現(xiàn)datanode加載失敗的情況。
本人的解決方法適用于首次已經(jīng)成功啟動整個集群,但是由于不正常的操作造成第二次無法正常啟動。首次的啟動失敗可能原因有很多:可能是由于配置文件錯誤寫入造成的,或是由于ssh無密碼登陸配置錯誤造成。
而第二次的錯誤原因與首次啟動的有一些區(qū)別,排錯重點應(yīng)該集中在程序在運行中的一些動態(tài)加載而生成的文件上,筆者要討論的是第二種情況:
大多原因就是因為hadoop的datanode的VERSION文件中的namespaceID與namenode中的VERSION文件中的namespaceID二者出現(xiàn)不一致的情況。而namespaceID的生成筆者推斷應(yīng)該是在執(zhí)行:hdfs namenode -format 這個命令的時候生成的。
解決步驟如下:
1,首先停掉namenode上相關(guān)的進(jìn)程:切換到hadoop的/sbin目錄下:
sh stop-dfs.sh
sh stop-yarn.sh
2,切換到hadoop的相應(yīng)/current目錄下將current下的所有文件清除。
3,將datanode與namenode的/current 下VERSION等相應(yīng)文件文件清除后,回到namenode上,執(zhí)行hsfs namenode -format命令,接著切換到namenode的hadoop的/sbin目錄下:
執(zhí)行sh start-dfs.sh
sh start-yarn.sh
(舊版本的mapre 被新版本的yarn所替代,命令上多少有些不同)
既可以看到相應(yīng)的節(jié)點成功加載。
相應(yīng)的思想就是,當(dāng)出錯時,清除掉一切干擾思路的文件,然后整理思緒,重新開始,這樣要遠(yuǎn)比在原地徘徊要好。
(由于我們在配置文件中指明的文件夾只有 hdfs tmp log,所以其余的文件也好文件夾也好都是動態(tài)執(zhí)行腳本生成創(chuàng)建的,刪除之后只要hadoop整個系統(tǒng)可以工作就會生成,即便錯刪,VM的 snapshot 也會拯救這個世界。)
相關(guān)文章
電腦提示找不到libcef.dll無法繼續(xù)執(zhí)行代碼怎么辦? libcef.dll丟失修復(fù)
在使用電腦的過程中,你可能會突然遇到諸如“找不到libcef.dll”或者“由于缺少libcef.dll,程序無法啟動”之類的惱人提示,下面我們就來看看詳細(xì)解決辦法2025-04-23電腦提示由于找不到d3dx9_43.dll如何解決? d3dx9_43.dll文件丟失修復(fù)技
在使用Windows操作系統(tǒng)運行某些應(yīng)用程序(尤其是游戲或圖形密集型軟件)時,用戶可能會遇到“d3dx9_43.dll文件丟失”的錯誤提示,這一錯誤不僅影響程序的正常啟動,還可能2025-04-23電腦死機無反應(yīng)怎么強制重啟? 一文讀懂方法及注意事項
在日常使用電腦的過程中,我們難免會遇到電腦無法正常啟動的情況,本文將詳細(xì)介紹幾種常見的電腦強制開機方法,并探討在強制開機后應(yīng)注意的事項,以及如何從根本上解決電腦2025-04-16電腦如何通過數(shù)據(jù)線連接手機網(wǎng)絡(luò)? 電腦上網(wǎng)不再受限的技巧
今天我來分享一下如何用USB線把臺式電腦連接到手機的網(wǎng)絡(luò)上,其實操作非常簡單,只需要幾步就搞定了,讓我們一起來看看吧2025-04-15分辨率三兄弟LPI、DPI 和 PPI有什么區(qū)別? 搞清分辨率的那些事兒
分辨率這個東西,真的是讓人又愛又恨,為了搞清楚它,我可是翻閱了不少資料,最后發(fā)現(xiàn)“小7的背包”的解釋最讓我茅塞頓開,于是,我決定整理一下,給大家分享一下我的理解2025-04-03- 你是否曾想過,為什么鍵盤上的空格鍵有時并不能滿足我們的需求?其實,空格鍵輸入的空格分為全角和半角兩種2025-03-31
mss32.dll文件丟失怎么辦? 電腦提示mss32.dll丟失的多種修復(fù)方法
最近,很多電腦用戶可能遇到了mss32.dll文件丟失的問題,導(dǎo)致一些應(yīng)用程序無法正常啟動,那么,如何修復(fù)這個問題呢?別擔(dān)心,本文將詳細(xì)介紹mss32.dll文件的作用和丟失原因2025-03-26電腦提示找不到openal32.dll文件怎么辦? openal32.dll丟失完美修復(fù)方法
openal32.dll是一種重要的系統(tǒng)文件,當(dāng)它丟失時,會給我們的電腦帶來很大的困擾,很多人都曾經(jīng)遇到過這個問題,但你知道該如何解決嗎?詳細(xì)請看下文介紹2025-03-26電腦win32spl.dll文件丟失咋辦? win32spl.dll丟失無法連接打印機修復(fù)技
電腦突然提示win32spl.dll文件丟失,打印機死活連不上,今天就來給大家詳細(xì)講解一下這個問題的解決方法,手把手教你如何搞定win32spl.dll丟失的問題,讓你輕松恢復(fù)打印機連2025-03-26電腦提示binkw32.dll缺失怎么辦? 教你輕松解決binkw32.dll丟失問題修復(fù)
電腦上玩游戲時,突然彈出“計算機丟失binkw32.dll”的錯誤提示,是不是讓你瞬間抓狂?別擔(dān)心,今天就來手把手教你如何解決這個問題2025-03-26