Hadoop3.2.0集群搭建常見注意事項
一 端口變化
3.2.0版本中namenode頁面端口是9870,datanode管理端口是8088,所以需要開放這兩個端口還給web頁面訪問
二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation
hadoop-env.sh中不光需要配置java-home,還需要聲明下面這些用戶變量,不然無法啟動:
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath屬性
<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>
四 salave文件編程workers文件了,內(nèi)容配置是一樣的
五 啟動成功不報錯,但最蛋疼的Live Nodes為0問題
解決步驟:
一 先查看datanode 日志:
如果出現(xiàn)這個說明連接配置有問題,查看core-site.xml配置,這個是配置datanode和namnode通信的:
一看
這里配置的連接地址有問題
hdfs應(yīng)該配置成namnode的地址,不能配置成datanode的地址,所有節(jié)點都一樣,這個地址,配置完成重啟成功
網(wǎng)上還有說/etc/hots解析不成功的,這個也是一個原因,配置好域名映射就可以了,重要的是先看日志分析是什么問題
最后成功頁面
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
如何使用 Rails 和七牛云存儲,在 15 分鐘內(nèi)打造一個圖片分享社交應(yīng)用原型
今天,就讓我們一起來看看如何使用 Rails 和七牛云存儲,在 15 分鐘內(nèi)打造一個圖片分享社交應(yīng)用原型2016-03-03Nodejs創(chuàng)建TCP服務(wù)器 - king0222
這篇文章主要介紹了Nodejs創(chuàng)建TCP服務(wù)器 - king0222的相關(guān)資料,需要的朋友可以參考下2015-09-09ServerSocket默認(rèn)邦定IP實現(xiàn)過程詳解
這篇文章主要介紹了ServerSocket默認(rèn)邦定IP實現(xiàn)過程詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-10-10360提示服務(wù)器開啟了WebDAV的關(guān)閉方法
WebDAV (Web-based Distributed Authoring and Versioning) 一種基于 HTTP 1.1協(xié)議的通信協(xié)議.它擴(kuò)展了HTTP 1.1,在GET、POST、HEAD等幾個HTTP標(biāo)準(zhǔn)方法以外添加了一些新的方法2012-07-07windows服務(wù)器運維需要的遠(yuǎn)程桌面控制軟件
我們有些朋友可能用到本地電腦自帶的遠(yuǎn)程工具,但是這種比較局限僅僅是服務(wù)器端的連接,不可以操控遠(yuǎn)程的其他電腦,在這篇文章中,整理7個適用于電腦端的遠(yuǎn)程桌面控制軟件2024-01-01