欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

新手Hadoop安裝 環(huán)境搭建

 更新時(shí)間:2021年06月30日 15:22:16   作者:冰闊樂(lè)  
這篇文章主要介紹了Hadoop的安裝與環(huán)境搭建教程圖解,本文圖文并茂給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下,希望能給您帶來(lái)幫助

一. 下載環(huán)境

Ubuntu 2.x.x 版本

二. 創(chuàng)建Hadoop用戶

在虛擬機(jī)創(chuàng)建安裝完成后。

1.進(jìn)入用戶,打開(kāi)終端輸入如下命令:

sudo useradd -m hadoop -s /bin/bash

則創(chuàng)建好了可以登陸的Hadoop用戶

/bin/bash 作為 shell

2.設(shè)置密碼

在終端輸入

sudo passwd hadoop     #需輸入兩次密碼
sudo adduser hadoop sudo #給Hadoop添加管理員權(quán)限

完成

三. 進(jìn)行Hadoop內(nèi)部環(huán)境的搭建

更新apt

打開(kāi)終端輸入

sudo apt-get update  #更新apt
sudo apt-get install vim  #下載vim  用于修改配置文件

四. 安裝ssh并配置無(wú)密碼登陸

1.登陸

sudo apt-get install openssh-serve   #下載
ssh localhost  #登陸    首次登陸輸入yes并輸入密碼登陸完成

在這里插入圖片描述

2.設(shè)置無(wú)密碼登陸

exit  #退出登陸
ssh-keygen -t rsa   #出現(xiàn)提示后按回車
cat ./id_rsa.pub >> ./authorized_keys  #加入授權(quán)
ssh localhost    #再次登陸ssh   不需要密碼

在這里插入圖片描述

若出現(xiàn)需要密碼登陸但錯(cuò)誤,需要將ssh刪除,重新下載安裝進(jìn)行配置

rm -rf ~/.ssh   #刪除ssh

五.安裝Java環(huán)境

先尋找Java下載的鏡像網(wǎng)站

如華為,清華等

再輸入相應(yīng)的代碼進(jìn)行下載

wget https://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64.tar.gz 

之后輸入以下指令進(jìn)行解壓

cd /usr/lib
sudo mkdir jvm #創(chuàng)建/uer/lib/jvm 目錄存放JDK文件
cd 
sudo tar -zxvf ./jdk-8u171-linux-x64.tar.gz -C /usr/lib/jvm   #解壓到/usr/lib/jvm目錄中
cd ~
vim ~/.bashrc   #環(huán)境變量配置文件

添加以下內(nèi)容到第一行

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

退出后使命令立即生效

source ~/bashrc  
java -version #查看是否安裝成功

六.安裝Hadoop

和安裝Java類似,搜索鏡像并下載

下載完成后將Hadoop安裝至/usr/lib中

sudo tar -zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local    # 解壓到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 將文件夾名改為hadoop
sudo chown -R hadoop ./hadoop       # 修改文件權(quán)限
cd /usr/local/hadoop
./bin/hadoop version   #檢查版本信息

七.Hadoop偽分布配置

1.配置文件

cd /usr/loca/hadoop/etc/hadoop/
gedit ./etc/hadoop/core-site.xml   #修改core-site.xml的配置

將其中的

<configuration>
</configuration>

改為

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同理將hdfs-site.xml中的改為

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置完成后,執(zhí)行NameNode的格式化:

cd /usr/local/hadoop
./bin/hdfs namenode -format

成功的話,會(huì)看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若為 “Exitting with status 1” 則是出錯(cuò)。

2.開(kāi)啟NameNode 和 DataNode 守護(hù)進(jìn)程

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是個(gè)完整的可執(zhí)行文件,中間沒(méi)有空格

若出現(xiàn)ssh提示,輸入yes 出現(xiàn)WARN提示可以忽略啟動(dòng) Hadoop 時(shí)提示 Could not resolve hostname ,輸入

vim ~/.bashrc

添加環(huán)境變量

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

完成后執(zhí)行

soure ~/.bashrc #使變量生效
./sbin.start-dfs.sh   #啟動(dòng)Hadoop
jps  #查看是否啟動(dòng)成功,若有NameNode ,DataNode,SecondaryNameNode則成功啟動(dòng)

若DataNode無(wú)法啟動(dòng)

cd /usr/local/hadoop
./sbin/stop-dfs.sh   # 關(guān)閉
rm -r ./tmp     # 刪除 tmp 文件,注意這會(huì)刪除 HDFS 中原有的所有數(shù)據(jù),慎用
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重啟

成功啟動(dòng)后,可以訪問(wèn) Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,還可以在線查看 HDFS 中的文件。

八.Hadoop集群搭建

按圖調(diào)整網(wǎng)絡(luò)設(shè)置

在這里插入圖片描述

在這里插入圖片描述

在這里插入圖片描述

在這里插入圖片描述

ping 通則說(shuō)明成功

在這里插入圖片描述

在這里插入圖片描述

總結(jié)

本篇文章就到這里了,希望能給您帶來(lái)幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!

相關(guān)文章

  • Springboot引用外部配置文件的方法步驟

    Springboot引用外部配置文件的方法步驟

    這篇文章主要介紹了Springboot引用外部配置文件的方法步驟,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-04-04
  • jmeter正則表達(dá)式提取器的用法與正則詳解

    jmeter正則表達(dá)式提取器的用法與正則詳解

    在使用Jmeter過(guò)程中,會(huì)經(jīng)常使用到正則表達(dá)式提取器提取器,下面這篇文章主要給大家介紹了關(guān)于jmeter正則表達(dá)式提取器的用法與正則的相關(guān)資料,需要的朋友可以參考下
    2022-07-07
  • spring-cloud-gateway動(dòng)態(tài)路由的實(shí)現(xiàn)方法

    spring-cloud-gateway動(dòng)態(tài)路由的實(shí)現(xiàn)方法

    這篇文章主要介紹了spring-cloud-gateway動(dòng)態(tài)路由的實(shí)現(xiàn)方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-01-01
  • vue+springboot讀取git的markdown文件并展示功能

    vue+springboot讀取git的markdown文件并展示功能

    Markdown-it 是一個(gè)用于解析和渲染 Markdown 標(biāo)記語(yǔ)言的 JavaScript 庫(kù),使用 Markdown-it,你可以將 Markdown 文本解析為 HTML 輸出,并且可以根據(jù)需要添加功能、擴(kuò)展語(yǔ)法或修改解析行為,本文介紹vue+springboot讀取git的markdown文件并展示,感興趣的朋友一起看看吧
    2024-01-01
  • java讀取解析xml文件實(shí)例

    java讀取解析xml文件實(shí)例

    這篇文章主要介紹了java讀取解析xml文件實(shí)例,本文創(chuàng)建了一個(gè)XML解析類同時(shí)講解了循環(huán)節(jié)點(diǎn)輸出方式,需要的朋友可以參考下
    2015-03-03
  • maven導(dǎo)入本地倉(cāng)庫(kù)jar包,報(bào):Could?not?find?artifact的解決

    maven導(dǎo)入本地倉(cāng)庫(kù)jar包,報(bào):Could?not?find?artifact的解決

    這篇文章主要介紹了maven導(dǎo)入本地倉(cāng)庫(kù)jar包,報(bào):Could?not?find?artifact的解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-03-03
  • spring使用aspect注解切面不起作用的排查過(guò)程及解決

    spring使用aspect注解切面不起作用的排查過(guò)程及解決

    這篇文章主要介紹了spring使用aspect注解切面不起作用的排查過(guò)程及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-06-06
  • 淺談MyBatis通用Mapper實(shí)現(xiàn)原理

    淺談MyBatis通用Mapper實(shí)現(xiàn)原理

    這篇文章主要介紹了淺談MyBatis通用Mapper實(shí)現(xiàn)原理,本文會(huì)先介紹通用 Mapper 的簡(jiǎn)單原理,然后使用最簡(jiǎn)單的代碼來(lái)實(shí)現(xiàn)這個(gè)過(guò)程。感興趣的小伙伴們可以參考一下
    2018-10-10
  • idea中引入了gb2312編碼的文件的解決方法

    idea中引入了gb2312編碼的文件的解決方法

    這篇文章主要介紹了idea中引入了gb2312編碼的文件的解決方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08
  • 詳解SpringBoot如何優(yōu)雅的進(jìn)行全局異常處理

    詳解SpringBoot如何優(yōu)雅的進(jìn)行全局異常處理

    在SpringBoot的開(kāi)發(fā)中,為了提高程序運(yùn)行的魯棒性,我們經(jīng)常需要對(duì)各種程序異常進(jìn)行處理,但是如果在每個(gè)出異常的地方進(jìn)行單獨(dú)處理的話,這會(huì)引入大量業(yè)務(wù)不相關(guān)的異常處理代碼,這篇文章帶大家了解一下如何優(yōu)雅的進(jìn)行全局異常處理
    2023-07-07

最新評(píng)論