linux下搭建hadoop環(huán)境步驟分享
1、下載hadoop包
wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
2、tar xvzf hadoop-0.20.2.tar.gz
3、安裝JDK,從oracle網(wǎng)站上直接下載JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,當(dāng)前目錄下出現(xiàn)了jdk1.6.0_21目錄
5、配置java環(huán)境變量 vi /etc/profile
export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
在終端下執(zhí)行 source /etc/profile 使配置生效
6、可以用以下命令查看
顯示JAVA版本 java -vesion
echo $JAVA_HOME
which java
echo $PATH
echo $CLASSPATH
如果java -version沒(méi)有顯示你的JDK的版本,請(qǐng)檢查你的path的設(shè)置。
7、配置hadoop環(huán)境變量 vi /etc/profile
export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_INSTALL/bin
source /etc/profile 使配置生效
8、測(cè)試環(huán)境
hadoop version 顯示
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
9、配置
hadoop每一個(gè)組件都使用一個(gè)XML文件配置,核心屬性在core-site.xml中,HDFS屬性在hdfs-site.xml中,MapReduce屬性在mapred-site.xml中。這些文件都在conf子目錄下。
hadoop有本地模式、偽分布模式和完全分布模式三種,默認(rèn)配置為本地模式,沒(méi)有守護(hù)進(jìn)程,一切都運(yùn)行在單個(gè)JVM上。
相關(guān)文章
CentOS7.4下MySQL5.7.28二進(jìn)制方式安裝的方法步驟
這篇文章主要介紹了CentOS7.4下MySQL5.7.28二進(jìn)制方式安裝的方法步驟,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11Linux NFS服務(wù)器的安裝與配置方法(圖文詳解)
這篇文章主要介紹了Linux NFS服務(wù)器的安裝與配置方法(圖文詳解),需要的朋友可以參考下2015-11-11linux驅(qū)動(dòng)開(kāi)發(fā)中常用函數(shù)copy_from_user open read write詳解
本文解說(shuō)了inux驅(qū)動(dòng)開(kāi)發(fā)函數(shù)copy_from_user ,open ,read write幾個(gè)常用函數(shù),現(xiàn)在一起來(lái)學(xué)習(xí)他們的使用過(guò)程吧2021-08-08