欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Hadoop單機版和全分布式(集群)安裝

 更新時間:2013年10月29日 15:01:47   作者:  
Hadoop,分布式的大數(shù)據(jù)存儲和計算, 免費開源,本文介紹Hadoop單機版、集群安裝步驟。

Hadoop,分布式的大數(shù)據(jù)存儲和計算, 免費開源!有Linux基礎(chǔ)的同學(xué)安裝起來比較順風(fēng)順?biāo)瑢憥讉€配置文件就可以啟動了,本人菜鳥,所以寫的比較詳細。為了方便,本人使用三臺的虛擬機系統(tǒng)是Ubuntu-12。設(shè)置虛擬機的網(wǎng)絡(luò)連接使用橋接方式,這樣在一個局域網(wǎng)方便調(diào)試。單機和集群安裝相差不多,先說單機然后補充集群的幾點配置。

第一步,先安裝工具軟件
編輯器:vim

復(fù)制代碼 代碼如下:

sudo apt-get install vim

ssh服務(wù)器: openssh,先安裝ssh是為了使用遠程終端工具(putty或xshell等),這樣管理虛擬機就方便多了。
復(fù)制代碼 代碼如下:

sudo apt-get install openssh-server

第二步,一些基本設(shè)置
最好給虛擬機設(shè)置固定IP

復(fù)制代碼 代碼如下:

sudo vim /etc/network/interfaces
加入以下內(nèi)容:
iface eth0 inet static
address 192.168.0.211
gateway 192.168.0.222
netmask 255.255.255.0

修改機器名,我這里指定的名字是:hadoopmaster ,以后用它做namenode
復(fù)制代碼 代碼如下:

sudo vim /etc/hostname

修改hosts,方便應(yīng)對IP變更,也方便記憶和識別
復(fù)制代碼 代碼如下:

sudo vim /etc/hosts
加入內(nèi)容:
192.168.0.211   hadoopmaster

第三步,添加一個專門為hadoop使用的用戶

復(fù)制代碼 代碼如下:

sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop

設(shè)置hadoop用戶的sudo權(quán)限
復(fù)制代碼 代碼如下:

sudo vim /etc/sudoers

在 root ALL=(ALL:ALL)
下面加一行 hadoop ALL=(ALL:ALL)
切換到hadoop用戶 su hadoop

第四步,解壓安裝JDK,HADOOP,PIG(順便把PIG也安裝了)

復(fù)制代碼 代碼如下:

sudo tar zxvf ./jdk-7-linux-i586.tar.gz  -C /usr/local/jvm/
sudo tar zxvf ./hadoop-1.0.4.tar.gz -C /usr/local/hadoop
sudo tar zxvf ./pig-0.11.1.tar.gz -C /usr/local/pig

修改解壓后的目錄名并且最終路徑為:
復(fù)制代碼 代碼如下:

jvm: /usr/local/jvm/jdk7
hadoop: /usr/local/hadoop/hadoop (注意:hadoop所有節(jié)點的安裝路徑必須相同)
pig: /usr/local/pig

設(shè)置目錄所屬用戶
復(fù)制代碼 代碼如下:

sudo chown -R hadoop:hadoop jdk7
sudo chown -R hadoop:hadoop hadoop
sudo chown -R hadoop:hadoop pig

設(shè)置環(huán)境變量, 編輯~/.bashrc 或 ~/.profile 文件加入
復(fù)制代碼 代碼如下:

export JAVA_HOME=/usr/local/jvm/jdk7
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_INSTALL=/usr/local/hadoop/hadoop
export PATH=${HADOOP_INSTALL}/bin:$PATH
source ~/.profile 生效

第五步,.ssh無密碼登錄本機,也就是說ssh到本機不需要密碼

復(fù)制代碼 代碼如下:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

如果不起作用請修改權(quán)限:
復(fù)制代碼 代碼如下:

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys 

authorized_keys相當(dāng)于白名單,id_rsa.pub是公鑰,凡是在authorized_keys有請求者機器的公鑰時ssh服務(wù)器直接放行,無需密碼!

第六步,Hadoop必要設(shè)置
所有設(shè)置文件在hadoop/conf目錄下
1、hadoop-env.sh 找到 #export JAVA_HOME 去掉注釋#,并設(shè)置實際jdk路徑
2、core-site.xml

復(fù)制代碼 代碼如下:

<property>
<name>fs.default.name</name>
<value>hdfs://hadoopmaster:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

3、mapred-site.xml
復(fù)制代碼 代碼如下:

<property>
<name>mapred.job.tracker</name>
<value>hadoopmaster:9001</value>
</property>

4、hdfs-site.xml
復(fù)制代碼 代碼如下:

<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

5、文件masters 和 文件slaves, 單機寫 localhost 即可

第七步,啟動Hadoop
格式化Hadoop的HDFS文件系統(tǒng)

復(fù)制代碼 代碼如下:

hadoop namenode -format

執(zhí)行Hadoop啟動腳本,如果是集群的話在master上執(zhí)行,其他slave節(jié)點Hadoop會通過ssh執(zhí)行:
復(fù)制代碼 代碼如下:

start-all.sh

執(zhí)行命令 jps 如果顯示有: Namenode,SecondaryNameNode,TaskTracker,DataNode,JobTracker等五個進程表示啟動成功了!

第八步,集群的配置
所有其他單機的安裝跟上面相同,下面只增加集群的額外配置!
最好先配置好一臺單機,其他的可以通過scp直接復(fù)制,路徑也最好相同包括java!
本例的主機列表(設(shè)置hosts):


設(shè)置ssh,讓master能夠不要密碼登錄到其他slaves上,主要用來啟動slaves

復(fù)制代碼 代碼如下:

復(fù)制hadoopmaster下id_rsa.pub到子結(jié)點:
scp ./ssh/id_rsa.pub hadoopnode1:/home/hadoop/.ssh/id_master
scp ./ssh/id_rsa.pub hadoopnode2:/home/hadoop/.ssh/id_master

分別在子結(jié)點~/.ssh/目錄下執(zhí)行:
cat ./id_master >> authorized_keys


masters文件,添加作為secondarynamenode或namenode的主機名,一行一個。
集群寫master名如:hadoopmaster
slaves文件,添加作為slave的主機名,一行一個。
集群寫子結(jié)點名:如 hadoopnode1、hadoopnode2

Hadoop管理
hadoop啟動后會啟動一個任務(wù)管理服務(wù)和一個文件系統(tǒng)管理服務(wù),是兩個基于JETTY的WEB服務(wù),所以可在線通過WEB的方式查看運行情況。
任務(wù)管理服務(wù)運行在50030端口,如 http://127.0.0.1:50030文件系統(tǒng)管理服務(wù)運行在50070端口。

參數(shù)說明:
1、dfs.name.dir:是NameNode持久存儲名字空間及事務(wù)日志的本地文件系統(tǒng)路徑。 當(dāng)這個值是一個逗號分割的目錄列表時,nametable數(shù)據(jù)將會被復(fù)制到所有目錄中做冗余備份。
2、dfs.data.dir:是DataNode存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑,逗號分割的列表。 當(dāng)這個值是逗號分割的目錄列表時,數(shù)據(jù)將被存儲在所有目錄下,通常分布在不同設(shè)備上。
3、dfs.replication:是數(shù)據(jù)需要備份的數(shù)量,默認是3,如果此數(shù)大于集群的機器數(shù)會出錯。

相關(guān)文章

  • Shell中整數(shù)計算的幾種方式

    Shell中整數(shù)計算的幾種方式

    今天小編就為大家分享一篇關(guān)于Shell中整數(shù)計算的幾種方式,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2019-03-03
  • vim命令匯總

    vim命令匯總

    本文主要介紹了vim命令匯總,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-06-06
  • Linux進程控制詳解及實例

    Linux進程控制詳解及實例

    這篇文章主要介紹了Linux進程控制詳解及實例的相關(guān)資料,需要的朋友可以參考下
    2017-04-04
  • 入門shell腳本基礎(chǔ)及原理

    入門shell腳本基礎(chǔ)及原理

    弄懂shell程序,源代碼,以及python腳本能夠向運維開發(fā)方向走,shell程序能夠管理集群,提高開發(fā)的效率,shell是命令解釋器,調(diào)用系統(tǒng)內(nèi)核,幫助你對內(nèi)核的刷新認識
    2021-09-09
  • Shell腳本自動部署項目的方法步驟

    Shell腳本自動部署項目的方法步驟

    本文主要介紹了Shell腳本自動部署項目的方法步驟,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-03-03
  • shell腳本實現(xiàn)ftp上傳下載文件功能

    shell腳本實現(xiàn)ftp上傳下載文件功能

    這篇文章主要介紹了shell腳本實現(xiàn)ftp上傳下載文件功能,本文給大家介紹的非常詳細,具有一定的參考借鑒價值 ,需要的朋友可以參考下
    2019-08-08
  • 利用Shell解析處理XML的方法匯總

    利用Shell解析處理XML的方法匯總

    這篇文章主要給大家總結(jié)介紹了關(guān)于利用Shell解析處理XML的方法,分別介紹了關(guān)于xmlint、xpath和xml2三種工具的使用,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考借鑒,下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。
    2017-10-10
  • 批量修改ssh配置的expect腳本

    批量修改ssh配置的expect腳本

    公司服務(wù)器一般通過ssh進行遠程管理。以前大家登錄的時候,都是隨意選內(nèi)外網(wǎng)IP進入。王總接手后,說這事隱患太大了,必須禁了外網(wǎng)ssh
    2013-03-03
  • linux shell判斷字符串為空的正確方法示例

    linux shell判斷字符串為空的正確方法示例

    這篇文章主要給大家介紹了關(guān)于linux shell判斷字符串為空的正確方法,文中通過示例代碼介紹的非常詳細,對大家學(xué)習(xí)或者使用linux shell具有一定的參考學(xué)習(xí)價值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • Shell腳本實現(xiàn)監(jiān)控iptables規(guī)則是否被修改

    Shell腳本實現(xiàn)監(jiān)控iptables規(guī)則是否被修改

    這篇文章主要介紹了Shell腳本實現(xiàn)監(jiān)控iptables規(guī)則是否被修改,本文直接給出實現(xiàn)代碼,需要的朋友可以參考下
    2014-12-12

最新評論