快捷導(dǎo)航

vmware配置hadoop實(shí)現(xiàn)偽分布式的圖文教程

更新時(shí)間：2019年10月29日 11:21:13 作者：lily_cai

這篇文章主要介紹了vmware配置hadoop實(shí)現(xiàn)偽分布式，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

一、實(shí)驗(yàn)環(huán)境

編號(hào)	項(xiàng)目	軟件及版本
1	操作系統(tǒng)	CentOS6
2	環(huán)境軟件	VMware 12
3	jdk環(huán)境	jdk1.8.0_181
4	Hadoop	Hadoop2.8.5
5	本機(jī)操作系統(tǒng)	win10專業(yè)版

二、準(zhǔn)備Linux網(wǎng)絡(luò)環(huán)境

1.0點(diǎn)擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設(shè)置網(wǎng)段：192.168.150.0 子網(wǎng)掩碼：255.255.255.0 -> apply -> ok

在這里插入圖片描述

回到windows --> 打開網(wǎng)絡(luò)和共享中心 -> 更改適配器設(shè)置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設(shè)置windows的IP：192.168.150.110 子網(wǎng)掩碼：255.255.255.0 -> 點(diǎn)擊確定

在這里插入圖片描述

在虛擬軟件上 --My Computer -> 選中虛擬機(jī) -> 右鍵 -> settings -> network adapter -> host only -> ok

在這里插入圖片描述

三、配置hostname

修改主機(jī)名(永久修改)
修改hosts文件

在這里插入圖片描述

四、修改centos中的IP

通過(guò)Linux圖形界面進(jìn)行修改（強(qiáng)烈推薦）

進(jìn)入Linux圖形界面 -> 右鍵點(diǎn)擊右上方的兩個(gè)小電腦 -> 點(diǎn)擊Edit connections -> 選中當(dāng)前網(wǎng)絡(luò)System eth0 -> 點(diǎn)擊edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點(diǎn)擊add按鈕 -> 添加IP：192.168.150.110 子網(wǎng)掩碼：255.255.255.0 網(wǎng)關(guān)：192.168.150.1 -> apply

在這里插入圖片描述

五、永久關(guān)閉防火墻

查看防火墻狀態(tài)

在這里插入圖片描述

停止防火墻

在這里插入圖片描述

永久關(guān)閉防火墻

在這里插入圖片描述

六、解壓jdk

在這里插入圖片描述

修改環(huán)境變量并且source一下

在這里插入圖片描述

七、解壓hadoop

在這里插入圖片描述

八、修改配置文件（5個(gè)）

第一個(gè)：hadoop-env.sh ,在/cloud/hadoop-2.8.5/etc/hadoop下面

在大約27行修改，要看行號(hào)，可以vi該文件之后，按esc，輸入冒號(hào)，再輸入set nu回車，就有行號(hào)了

export JAVA_HOME=/usr/java/jdk1.8.0_181

在這里插入圖片描述

第二個(gè)：core-site.xml

<configuration>
		<!-- 指定HDFS老大（namenode）的通信地址 -->
		<property>
				<name>fs.defaultFS</name>
				<value>hdfs://itcast01:9000</value>
		</property>
		<!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)路徑 -->
		<property>
				<name>hadoop.tmp.dir</name>
				<value>/cloud/hadoop-2.8.5/tmp</value>
		</property>
	</configuration>

在這里插入圖片描述

第三個(gè)：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml

	<configuration>
<!-- 通知框架MR使用YARN -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
		</configuration>

在這里插入圖片描述

這里結(jié)束之后在輸入，修改xml文件名字

mv mapred-site.xml.template mapred-site.xml

第四個(gè)：hdfs-site.xml

	<configuration>
<!-- 設(shè)置hdfs副本數(shù)量 -->
<property>
		<name>dfs.replication</name>
		<value>1</value>
</property>
		</configuration>

在這里插入圖片描述

第五個(gè)：yarn-site.xml

	<configuration>
<!-- reducer取數(shù)據(jù)的方式是mapreduce_shuffle -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
		</configuration>

在這里插入圖片描述

九、將hadoop添加到環(huán)境變量

vim /etc/profile

	export JAVA_HOME=/usr/java/jdk1.8.0_181
export HADOOP_HOME=/cloud/hadoop-2.8.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
	
		source /etc/profile

在這里插入圖片描述

十、格式化HDFS（namenode）第一次使用時(shí)要格式化（忘記截圖了）

hadoop namenode -format

十一、啟動(dòng)hadoop

啟動(dòng)start-all
在/cloud/hadoop/sbin/下
輸入./start-all.sh

在這里插入圖片描述

然后不停的輸入密碼和yes

在這里插入圖片描述

十二、輸入jps查看是否配置成功

紅框中的東西，一共6個(gè)，缺一不可，不然就是有東西沒(méi)配置好，根據(jù)周邊同學(xué)經(jīng)驗(yàn)，要么網(wǎng)絡(luò)沒(méi)配置好，要么上面5個(gè)配置文件沒(méi)寫好，實(shí)在找不到，最簡(jiǎn)單粗暴麻煩但是有效的方法，從頭裝機(jī)再來(lái)吧，我是一口氣成功。

在這里插入圖片描述