1.先決條件

1.1 支持平臺(tái)

GNU/Linux是產(chǎn)品開(kāi)發(fā)和運(yùn)行的平臺(tái)。 Hadoop已在有2000個(gè)節(jié)點(diǎn)的GNU/Linux主機(jī)組成的集群系統(tǒng)上得到驗(yàn)證。
所以首先我們需要下載Linux的ISO安裝包安裝，具體安裝參考我的上一篇博客：
VirtualBox虛擬機(jī)以及CentOS系統(tǒng)的安裝【詳細(xì)】

1.2 jdk及hadoop安裝包

可以去官網(wǎng)下載或者下載我上傳的資源，我所用的具體版本如下圖所示：

鏈接: https://pan.baidu.com/s/1XTZfzl0t79Dtz0-jmQrQuQ 提取碼: pkwy

1.3 Xshell 7與Xftp 7工具安裝

主要作用是用Xshell 7進(jìn)行虛擬機(jī)各項(xiàng)操作，用Xftp 7將本地的jdk及hadoop安裝包傳輸?shù)教摂M機(jī)上

兩個(gè)工具均可以在官網(wǎng)下載，選擇個(gè)人使用方式可以免費(fèi)下載

2.具體安裝步驟

 2.1 網(wǎng)絡(luò)配置

需要注意的是在參考上篇博客安裝CentOS設(shè)置網(wǎng)絡(luò)連接時(shí)兩個(gè)網(wǎng)關(guān)都要打開(kāi)，具體如下：
啟動(dòng)之前進(jìn)行網(wǎng)絡(luò)設(shè)置

然后點(diǎn)擊啟動(dòng)，進(jìn)行到下列步驟時(shí)注意將兩個(gè)網(wǎng)關(guān)打開(kāi)并對(duì)第二個(gè)網(wǎng)絡(luò)進(jìn)行手動(dòng)配置

點(diǎn)擊配置，手動(dòng)配置Ipv4,將框內(nèi)地址填入對(duì)用項(xiàng)，點(diǎn)擊保存。

Centos安裝后，點(diǎn)擊啟動(dòng)，在終端登錄root賬戶后，輸入ifconfig命令，檢查網(wǎng)絡(luò)配置，如果不存在，執(zhí)行命令yum install net-tools.x86_64，彈出y/n的話，選擇y。

執(zhí)行

vi /etc/sysconfig/network-scripts/ifcfg-enp0s8

把onboot=no改成yes
點(diǎn)擊insert鍵(即鍵盤(pán)i鍵)，上下移動(dòng)到那里改好之后，按esc建退出編輯模式，然后再按：wq就可以保存退出了，注意有：
不出意外，網(wǎng)絡(luò)已經(jīng)配置好了。
重啟虛擬機(jī)或者重啟網(wǎng)卡服務(wù)

service  network restart

登錄后 再次輸入ifconfig命令，已經(jīng)有了反饋信息，如圖將框內(nèi)IP地址記下

2.2 Xshell連接

打開(kāi)Xshell,新建連接，將IP地址寫(xiě)入下圖框內(nèi)，即可在本地建立與虛擬機(jī)的連接，后續(xù)對(duì)虛擬機(jī)的各項(xiàng)操作均可在Xshell終端中進(jìn)行。

2.3 Xftp傳輸

點(diǎn)擊下圖按鈕，新建文件傳輸，自動(dòng)調(diào)用Xftp進(jìn)行文件傳輸

在右側(cè)root文件夾下新建java子文件夾，找到本地文件右鍵->傳輸，即可將兩個(gè)壓縮包上傳到虛擬機(jī)

2.4 jdk環(huán)境配置

輸入以下命令檢測(cè)是否默認(rèn)安裝jdk,沒(méi)有反饋信息說(shuō)明沒(méi)有安裝

使用

> cd 對(duì)應(yīng)文件夾路徑

將目錄切換到j(luò)ava子文件夾下，
使用如下命令開(kāi)始解壓jdk壓縮包

通過(guò)/etc/profile 配置環(huán)境變量

[root@bogon ~]# vi /etc/profile

進(jìn)入編輯模式(i)，添加以下代碼，然后保存退出(esc+:+wq)

#最后添加以下內(nèi)容，注意查看自己的路徑及jdk版本
export JAVA_HOME=/root/java/jdk-16
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

讓/etc/profile文件修改后立即生效 ,可以使用如下命令:

[root@bogon ~]# source /etc/profile

檢測(cè)是否安裝成功：

[root@bogon ~]# java -version

2.5 ssh服務(wù)配置

ssh 必須安裝并且保證 sshd一直運(yùn)行，以便用Hadoop 腳本管理遠(yuǎn)端Hadoop守護(hù)進(jìn)程
檢查是否安裝ssh服務(wù)：

> [root@bogon ~]# rpm -qa|grep ssh

若已經(jīng)安裝會(huì)顯示相應(yīng)版本

沒(méi)有安裝，使用以下命令安裝

[root@bogon ~]# yum install openssh-server

開(kāi)啟sshd服務(wù)

[root@bogon ~]# sudo service sshd start

為了免去每次開(kāi)啟 CentOS 時(shí)，都要手動(dòng)開(kāi)啟 sshd 服務(wù)，可以將 sshd 服務(wù)添加至自啟動(dòng)列表中，輸入

[root@bogon ~]# systemctl enable sshd.service

可以通過(guò)輸入

[root@bogon ~]# systemctl list-unit-files | grep sshd

查看是否開(kāi)啟了sshd 服務(wù)自啟動(dòng)

2.6 hadoop配置

為了獲取Hadoop的發(fā)行版，從Apache的某個(gè)鏡像服務(wù)器上下載最近的穩(wěn)定發(fā)行版，
這里我們使用安裝包中的穩(wěn)定版hadoop-1.0.3.tar.gz
如之前解壓jdk操作一樣，將放置在java文件夾下的hadoop-1.0.3.tar.gz解壓
具體操作為終端切換到j(luò)ava路徑下，使用以下命令解壓壓縮包

tar -zxvf hadoop-1.0.3.tar.gz

解壓結(jié)果如下

嘗試如下命令：

[root@bogon java]# cd /root/java/hadoop-1.0.3
[root@bogon hadoop-1.0.3]# bin/hadoop

將會(huì)顯示hadoop 腳本的使用文檔

2.7 hadoop單機(jī)模式操作方法

默認(rèn)情況下，Hadoop被配置成以非分布式模式運(yùn)行的一個(gè)獨(dú)立Java進(jìn)程。這對(duì)調(diào)試非常有幫助，
以下命令即運(yùn)行了一次hadoop程序并獲取了輸出。

下面的實(shí)例將已解壓的 conf 目錄拷貝作為輸入，查找并顯示匹配給定正則表達(dá)式的條目，輸出寫(xiě)入到指定的output目錄

[root@bogon hadoop-1.0.3]# mkdir input 
[root@bogon hadoop-1.0.3]# cp conf/*.xml input 
[root@bogon hadoop-1.0.3]# bin/hadoop jar hadoop-examples-1.0.3.jar grep input output 'dfs[a-z.]+'
[root@bogon hadoop-1.0.3]# cat output/*

以下顯示該hadoop程序運(yùn)行結(jié)果

到此這篇關(guān)于VirtualBox安裝CentOS及JDK、Hadoop的安裝與配置詳細(xì)教程的文章就介紹到這了,更多相關(guān)VirtualBox CentOS安裝配置JDK、Hadoop內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論