hadoop重新格式化HDFS步驟解析
了解Hadoop的同學(xué)都知道,Hadoop有兩個(gè)核心的組成部分,一個(gè)是HDFS,另一個(gè)則是MapReduce,HDFS作為Hadoop的數(shù)據(jù)存儲(chǔ)方案,MapReduce則提供計(jì)算服務(wù);同時(shí),HDFS作為一種分布式文件系統(tǒng),它的安裝也是需要相應(yīng)的格式化操作的,如果安裝失敗或者我們需要重新安裝的時(shí)候,那我們就需要對(duì)HDFS重新進(jìn)行格式化,這篇文章就和大家一起討論下如何進(jìn)行HDFS的重新格式化。
重新格式化hdfs系統(tǒng)的方法:
1、打開(kāi)hdfs-site.xml
我們打開(kāi)Hadoop的hdfs-site.xml,基本配置如下所示:
<property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/hdsf/data</value> </property>
將 dfs.name.dir所指定的目錄刪除、dfs.data.dir所指定的目錄刪除,及我們需要?jiǎng)h除hdfs-site.xml中配置的存儲(chǔ)信息路徑。
2、刪除core-site.xml配置文件指定的相關(guān)目錄
<property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/hadooptmp</value> </property>
將hadoop.tmp.dir所指定的目錄刪除,即刪除Hadoop的臨時(shí)文件路徑。
3、重新執(zhí)行命令:hadoop namenode -format
格式化完畢。
這種格式化HDFS的方式是需要把原來(lái)HDFS中的數(shù)據(jù)全部清空,然后再格式化并安裝一個(gè)全新的HDFS。
注:這種格式化方式需要將HDFS中的數(shù)據(jù)全部清空,以后我們探討不需刪除數(shù)據(jù)即可重新格式化的方法。
總結(jié)
以上就是本文關(guān)于hadoop重新格式化HDFS步驟解析的全部?jī)?nèi)容,希望對(duì)大家有所幫助。感興趣的朋友可以繼續(xù)參閱:淺談七種常見(jiàn)的Hadoop和Spark項(xiàng)目案例等以及本站其他相關(guān)專(zhuān)題,如有不足之處,歡迎留言指出。感謝朋友們對(duì)本站的支持!
相關(guān)文章
N點(diǎn)主機(jī)管理系統(tǒng)重置密碼方法(在線(xiàn)修改密碼)
這篇文章主要介紹了N點(diǎn)主機(jī)管理系統(tǒng)重置密碼方法(在線(xiàn)修改密碼),需要的朋友可以參考下2015-10-10使用Npcap庫(kù)開(kāi)發(fā)簡(jiǎn)單的掃描功能
nmap(Network?Mapper)是一款開(kāi)源免費(fèi)的針對(duì)大型網(wǎng)絡(luò)的端口掃描工具,nmap可以檢測(cè)目標(biāo)主機(jī)是否在線(xiàn)、主機(jī)端口開(kāi)放情況、檢測(cè)主機(jī)運(yùn)行的服務(wù)類(lèi)型及版本信息、檢測(cè)操作系統(tǒng)與設(shè)備類(lèi)型等信息,本文主要介紹nmap工具安裝和基本使用方法,2024-08-08CentOS簡(jiǎn)單操作命令及node.js的安裝方法
這篇文章主要介紹了CentOS簡(jiǎn)單操作命令及node.js的安裝方法,列舉了CentOS的常用查看命令及安裝node.js的方法,需要的朋友可以參考下2016-05-05https證書(shū)選擇之DV型、OV型、EV型證書(shū)的主要區(qū)別
這篇文章主要介紹了https證書(shū)選擇之DV型、OV型、EV型證書(shū)的主要區(qū)別,需要的朋友可以參考下2017-09-09生產(chǎn)級(jí)K8S基礎(chǔ)環(huán)境部署配置流程
這篇文章主要為大家介紹了生產(chǎn)級(jí)K8S入門(mén)之基礎(chǔ)環(huán)境的部署過(guò)程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多2022-03-03如何從Steam社區(qū)屏蔽分析繞過(guò)方法及ASF安全部署
這篇文章主要介紹了從Steam社區(qū)屏蔽分析繞過(guò)方法及ASF安全部署,本文主要記錄在Ubuntu(Linux)服務(wù)器上的部署教程,但對(duì)于沒(méi)有用過(guò)ASF并不熟悉Nginx的萌新來(lái)說(shuō),還是建議在Windows上調(diào)試成功后再轉(zhuǎn)到云服務(wù)器上,需要的朋友可以參考下2024-05-05