Hadoop3.2.0集群搭建常見(jiàn)注意事項(xiàng)
一 端口變化
3.2.0版本中namenode頁(yè)面端口是9870,datanode管理端口是8088,所以需要開(kāi)放這兩個(gè)端口還給web頁(yè)面訪問(wèn)
二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation
hadoop-env.sh中不光需要配置java-home,還需要聲明下面這些用戶變量,不然無(wú)法啟動(dòng):
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath屬性
<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>
四 salave文件編程workers文件了,內(nèi)容配置是一樣的
五 啟動(dòng)成功不報(bào)錯(cuò),但最蛋疼的Live Nodes為0問(wèn)題
解決步驟:
一 先查看datanode 日志:
如果出現(xiàn)這個(gè)說(shuō)明連接配置有問(wèn)題,查看core-site.xml配置,這個(gè)是配置datanode和namnode通信的:
一看
這里配置的連接地址有問(wèn)題
hdfs應(yīng)該配置成namnode的地址,不能配置成datanode的地址,所有節(jié)點(diǎn)都一樣,這個(gè)地址,配置完成重啟成功
網(wǎng)上還有說(shuō)/etc/hots解析不成功的,這個(gè)也是一個(gè)原因,配置好域名映射就可以了,重要的是先看日志分析是什么問(wèn)題
最后成功頁(yè)面
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
如何使用 Rails 和七牛云存儲(chǔ),在 15 分鐘內(nèi)打造一個(gè)圖片分享社交應(yīng)用原型
今天,就讓我們一起來(lái)看看如何使用 Rails 和七牛云存儲(chǔ),在 15 分鐘內(nèi)打造一個(gè)圖片分享社交應(yīng)用原型2016-03-03Nodejs創(chuàng)建TCP服務(wù)器 - king0222
這篇文章主要介紹了Nodejs創(chuàng)建TCP服務(wù)器 - king0222的相關(guān)資料,需要的朋友可以參考下2015-09-09ServerSocket默認(rèn)邦定IP實(shí)現(xiàn)過(guò)程詳解
這篇文章主要介紹了ServerSocket默認(rèn)邦定IP實(shí)現(xiàn)過(guò)程詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-10-10N點(diǎn)主機(jī)管理系統(tǒng)的重裝步驟(圖文)
這篇文章主要介紹了N點(diǎn)主機(jī)管理系統(tǒng)的重裝步驟(圖文),需要的朋友可以參考下2015-10-10360提示服務(wù)器開(kāi)啟了WebDAV的關(guān)閉方法
WebDAV (Web-based Distributed Authoring and Versioning) 一種基于 HTTP 1.1協(xié)議的通信協(xié)議.它擴(kuò)展了HTTP 1.1,在GET、POST、HEAD等幾個(gè)HTTP標(biāo)準(zhǔn)方法以外添加了一些新的方法2012-07-07windows服務(wù)器運(yùn)維需要的遠(yuǎn)程桌面控制軟件
我們有些朋友可能用到本地電腦自帶的遠(yuǎn)程工具,但是這種比較局限僅僅是服務(wù)器端的連接,不可以操控遠(yuǎn)程的其他電腦,在這篇文章中,整理7個(gè)適用于電腦端的遠(yuǎn)程桌面控制軟件2024-01-01