欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Linux下安裝Hadoop集群詳細(xì)步驟

 更新時(shí)間：2021年12月17日 16:28:32   作者：七號(hào)樓少女..  
大家好，本篇文章主要講的是Linux下安裝Hadoop集群詳細(xì)步驟，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話(huà)記得收藏一下，方便下次瀏覽

1.在usr目錄下創(chuàng)建Hadoop目錄，將安裝包導(dǎo)入目錄中并解壓文件

?

2.進(jìn)入vim /etc/profile文件并編輯配置文件

#hadoop
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

3.使文件生效

source /etc/profile

4.進(jìn)入Hadoop目錄下

cd /usr/hadoop/hadoop-2.6.0/etc/hadoop

5.編輯配置文件

（1）進(jìn)入vim hadoop-env.sh文件添加（java jdk文件所在位置）

export JAVA_HOME=/usr/java/jdk1.8.0_181

?（2）進(jìn)入 vim core-site.xml（z1:在主節(jié)點(diǎn)的ip或者映射名(改成自己的)）

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/hadoop/tmp</value>
</property>
<!--端口號(hào)9000-->
<property>
        <name>fs.default.name</name>
        <value>hdfs://z1:9000</value>
</property>
<!--開(kāi)啟垃圾桶機(jī)制單位分鐘-->
<property>
    <name>fs.trash .insterval</name>
    <value>10080</value>
</property>
<!--緩沖區(qū)大小，實(shí)際工作根據(jù)服務(wù)器性能-->
<property>
    <name>io.file. buffer.sizei</name>
    <value>4096</value>
</property>
</configuration>
                                                                                                                                                                  39,9         底端

（3）Hadoop沒(méi)有mapred-site.xml這個(gè)文件現(xiàn)將文件復(fù)制到這然后進(jìn)入mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

?（z1:在主節(jié)點(diǎn)的ip或者映射名(改成自己的)）

<configuration>
<property>
<!--指定Mapreduce運(yùn)行在yarn上-->
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
<!--開(kāi)啟MapReduce的小任務(wù)模式-->
<property>
      <name>mapred.job.ubertask.enable</name>
      <value>true</value>
</property>
<property>
      <name>mapred.job.tracker</name>
      <value>z1:9001</value>
</property>
 
<property>
<name>mapreduce.jobhistory.address</name>
<value>CMaster:10020</value>
</property>
</configuration>

?（4）進(jìn)入yarn-site.xml

vim yarn-site.xml

??（z1:在主節(jié)點(diǎn)的ip或者映射名(改成自己的)）

<configuration>
 
<!-- Site specific YARN configuration properties -->
 
<!--配置yarn主節(jié)點(diǎn)的位置-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>z1</value>
</property>
<property>
<!-- mapreduce ,執(zhí)行shuff1e時(shí)獲取數(shù)據(jù)的方式.-->
<description>The address of the appiications manager interface inthe RM.</description>
     <name>yarn.resourcemanager.address</name>
     <value>z1:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>z1:8030</value>
</property>
 
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>z1:8088</value>
</property>
 
<property>
  <name>yarn.resourcemanager.webapp.https.address</name>
  <value>z1:8090</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>z1:8031</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>z1:8033</value>
</property>
<property><!--mapreduce執(zhí)行shuff1e時(shí)獲取數(shù)據(jù)的方式，-->
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
<!--設(shè)置內(nèi)存，yarn的內(nèi)存分配-->
  <name>yarn.scheduler.maximum-a11ocation-mb</name>
  <value>2024</value>
  <discription>每個(gè)節(jié)點(diǎn)可用內(nèi)存,單位M,默認(rèn)8182MB</discription>
</property>
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value>
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>1024</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>
 
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
 
 
</configuration>

(5)進(jìn)入hdfs-site.xml

vim hdfs-site.xml

<configuration>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</value>
</property>
 <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</value>
    </property>
<property>
<!--副本個(gè)數(shù)-->
<name>dfs.replication</name>
<value>3</value>
</property>
<!--設(shè)置hdfs的文件權(quán)限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!--設(shè)置一個(gè)文件切片的大?。?28m-->
<property>
<name>dfs.bloksize</name>
<value>134217728</value>
</property>
</configuration>

6.進(jìn)入slaves添加主節(jié)點(diǎn)和從節(jié)點(diǎn)

vim slaves

?添加自己的主節(jié)點(diǎn)和從節(jié)點(diǎn)（我的是z1,z2,z3）

7.將各個(gè)文件復(fù)制到其他虛擬機(jī)上

scp -r /etc/profile root@z2:/etc/profile #將環(huán)境變量profile文件分發(fā)到z2節(jié)點(diǎn)
scp -r /etc/profile root@z3:/etc/profile #將環(huán)境變量profile文件分發(fā)到z3節(jié)點(diǎn)
scp -r /usr/hadoop root@z2:/usr/   #將hadoop文件分發(fā)到z2節(jié)點(diǎn)
scp -r /usr/hadoop root@z3:/usr/   #將hadoop文件分發(fā)到z3節(jié)點(diǎn)

生效兩個(gè)從節(jié)點(diǎn)的環(huán)境變量

source /etc/profile

8.格式化hadoop (僅在主節(jié)點(diǎn)中進(jìn)行操作)

首先查看jps是否啟動(dòng)hadoop

hadoop namenode -format

當(dāng)看到Exiting with status 0時(shí)說(shuō)明格式化成功

9.回到Hadoop目錄下（僅在主節(jié)點(diǎn)操作）

cd /usr/hadoop/hadoop-2.6.0
sbin/start-all.sh  啟動(dòng)Hadoop僅在主節(jié)點(diǎn)操作

主節(jié)點(diǎn)輸入jps效果：?

?

從節(jié)點(diǎn)輸jps效果：

?

到此這篇關(guān)于Linux下安裝Hadoop集群詳細(xì)步驟的文章就介紹到這了,更多相關(guān)Linux安裝Hadoop集群內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

  • 阿里云OSS訪(fǎng)問(wèn)權(quán)限配置(RAM權(quán)限控制)實(shí)現(xiàn)

    阿里云OSS訪(fǎng)問(wèn)權(quán)限配置(RAM權(quán)限控制)實(shí)現(xiàn)

    這篇文章主要介紹了阿里云OSS訪(fǎng)問(wèn)權(quán)限配置(RAM權(quán)限控制)實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • Linux下關(guān)于coredump的定位方法說(shuō)明

    Linux下關(guān)于coredump的定位方法說(shuō)明

    這篇文章主要介紹了Linux下關(guān)于coredump的定位方法說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • linux磁盤(pán)順序?qū)?、隨機(jī)寫(xiě)的方法

    linux磁盤(pán)順序?qū)?、隨機(jī)寫(xiě)的方法

    這篇文章主要介紹了linux磁盤(pán)順序?qū)?、隨機(jī)寫(xiě)的方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下
    2019-08-08
  • 詳解ubuntu20.04下CLion2020.1.3安裝配置ROS過(guò)程說(shuō)明

    詳解ubuntu20.04下CLion2020.1.3安裝配置ROS過(guò)程說(shuō)明

    這篇文章主要介紹了ubuntu20.04下CLion2020.1.3安裝配置ROS過(guò)程說(shuō)明,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
    2020-08-08
  • Apache Hadoop版本詳解

    Apache Hadoop版本詳解

    本文總結(jié)了ApacheHadoop和Cloudera Hadoop的版本衍化過(guò)程，并給出了選擇Hadoop版本的一些建議。感興趣的朋友一起看看吧
    2017-09-09
  • Centos5.4+Nginx-0.8.50+UWSGI-0.9.6.2+Django-1.2.3搭建高性能WEB服務(wù)器

    Centos5.4+Nginx-0.8.50+UWSGI-0.9.6.2+Django-1.2.3搭建高性能WEB服務(wù)器

    這篇文章主要介紹了Centos5.4+Nginx-0.8.50+UWSGI-0.9.6.2+Django-1.2.3搭建高性能WEB服務(wù)器的相關(guān)資料,需要的朋友可以參考下
    2016-02-02
  • 配置apache默認(rèn)使用ssl的方法

    配置apache默認(rèn)使用ssl的方法

    首先確認(rèn)mod_rewrite已經(jīng)安裝，方法就是查看你的httpd.conf，搜索“LoadModule rewrite_module modules/mod_rewrite.so”，如果有，刪除前面的"#"。
    2009-10-10
  • Linux一行命令處理批量文件詳解

    Linux一行命令處理批量文件詳解

    這篇文章主要介紹了Linux一行命令處理批量文件詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-08-08
  • Apache JMeter 5.5 下載安裝及設(shè)置中文圖文教程

    Apache JMeter 5.5 下載安裝及設(shè)置中文圖文教程

    這篇文章主要介紹了Apache JMeter 5.5 下載安裝以及設(shè)置中文教程,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
    2023-02-02
  • 基于linux配置selenium環(huán)境并實(shí)現(xiàn)運(yùn)行

    基于linux配置selenium環(huán)境并實(shí)現(xiàn)運(yùn)行

    這篇文章主要介紹了基于linux配置selenium環(huán)境并實(shí)現(xiàn)運(yùn)行,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-08-08

最新評(píng)論