使用docker安裝hadoop的實(shí)現(xiàn)過(guò)程
1.拉鏡像
這里推薦第一個(gè)
docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base
或者
docker pull qianiqan/hadoop_only
2.創(chuàng)建容器
三個(gè)容器的名稱分別是Master、Slave1、Slave2
1.創(chuàng)建hadoop內(nèi)部網(wǎng)絡(luò)
目的是實(shí)現(xiàn)容器與容器之間的相互通信
docker network create --driver=bridge hadoop
hadoop:是創(chuàng)建的網(wǎng)絡(luò)名
2.創(chuàng)建master容器，開(kāi)放端口
docker run -it --network hadoop -h Master --name Master -p 9870:9870 -p 8088:8088 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
--network hadoop ：指定該容器使用創(chuàng)建的hadoop網(wǎng)絡(luò)
--name Master ：把該容器名稱命名為Master
-p 9870:9870 ：將宿主機(jī)的9870端口號(hào)，映射到容器的9870端口
-p 8088:8088 ： 將宿主機(jī)的8088端口號(hào)，映射到容器的8088端口
這兩個(gè)開(kāi)放端口
3.創(chuàng)建slave1容器，不開(kāi)放端口
docker run -it --network hadoop -h Slave1 --name Slave1 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
不開(kāi)端口，只有master容器開(kāi)
4.創(chuàng)建slave2容器，不開(kāi)放端口
docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
不開(kāi)端口，只有master容器開(kāi)
3.三臺(tái)主機(jī)都修改/etc/hosts文件
分別進(jìn)入三臺(tái)主機(jī)，然后修改他們的hosts文件
vim /etc/hosts **************添加下面內(nèi)容************* 172.20.0.2 Master #（容器ip 容器主機(jī)名） 172.20.0.3 Slave1 172.20.0.4 Slave2
查看容器ip的方法
docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' 容器ID4.格式化hdfs
在master容器內(nèi)操作
進(jìn)入hadoop的bin目錄格式化
可以看出hadoop的存放目錄為/usr/local/hadoop/
cd /usr/local/hadoop/bin - ./hadoop namenode -format
5.啟動(dòng)hadoop
三臺(tái)主機(jī)容器內(nèi)部都可以
cd /usr/local/hadoop/sbin - ./start-all.sh
6.web訪問(wèn)測(cè)試
宿主機(jī)ip:9870
到此這篇關(guān)于使用docker安裝hadoop（已實(shí)現(xiàn)） 的文章就介紹到這了,更多相關(guān)docker安裝hadoop內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了docker私有倉(cāng)庫(kù)的搭建和使用詳解，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-10-10
這篇文章主要介紹了docker的一些常用操作，幫助大家更好的理解和學(xué)習(xí)使用docker，感興趣的朋友可以了解下2021-04-04
docker中使用mysql數(shù)據(jù)庫(kù)實(shí)現(xiàn)局域網(wǎng)訪問(wèn)
在本篇內(nèi)容里小編給大家整理了關(guān)于docker中使用mysql數(shù)據(jù)庫(kù)實(shí)現(xiàn)局域網(wǎng)訪問(wèn)相關(guān)內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。2020-03-03
Docker-client for python詳解及簡(jiǎn)單示例
這篇文章主要介紹了Docker-client for python詳解及簡(jiǎn)單示例的相關(guān)資料,需要的朋友可以參考下2017-04-04
Docker從零構(gòu)建php-nginx-alpine鏡像的方法
這篇文章主要介紹了Docker從零構(gòu)建php-nginx-alpine鏡像的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-11-11
本文主要介紹了docker search命令的具體使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
通過(guò)使用 Docker，可以快速的在本地搭建一套 Spark 環(huán)境，方便大家開(kāi)發(fā) Spark 應(yīng)用，或者擴(kuò)展到生產(chǎn)環(huán)境。下面這篇文章主要給大家介紹了使用docker快速搭建Spark集群的方法教程，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。2017-06-06
在使用Docker的過(guò)程中,有時(shí)我們需要卸載Docker以清理系統(tǒng)環(huán)境或進(jìn)行重新安裝,下面這篇文章主要給大家介紹了關(guān)于Docker完整卸載的兩種方法,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-07-07
docker-swarm之使用Docker secret管理敏感數(shù)據(jù)
就Docker Swarm集群服務(wù)而言,secret 是塊狀數(shù)據(jù),例如密碼、SSH私鑰、SSL證書(shū)或其他不應(yīng)通過(guò)網(wǎng)絡(luò)傳輸或未加密存儲(chǔ)在Dockerfile或應(yīng)用程序源代碼中的數(shù)據(jù),我們可以使用Docker secret 集中管理這些數(shù)據(jù),所以接下來(lái)就帶大家了解一下如何使用Docker secret 管理敏感數(shù)據(jù)2023-08-08
這篇文章主要介紹了使用Docker 安裝 Jenkins的方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01