使用docker安裝hadoop的實現(xiàn)過程
更新時間：2023年01月30日 11:56:51 作者：老酒的酒瓶不見了
這篇文章主要介紹了使用docker安裝hadoop的詳細過程，本文給大家講解的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
1.拉鏡像
這里推薦第一個
docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base
或者
docker pull qianiqan/hadoop_only
2.創(chuàng)建容器
三個容器的名稱分別是Master、Slave1、Slave2
1.創(chuàng)建hadoop內(nèi)部網(wǎng)絡(luò)
目的是實現(xiàn)容器與容器之間的相互通信
docker network create --driver=bridge hadoop
hadoop:是創(chuàng)建的網(wǎng)絡(luò)名
2.創(chuàng)建master容器，開放端口
docker run -it --network hadoop -h Master --name Master -p 9870:9870 -p 8088:8088 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
--network hadoop ：指定該容器使用創(chuàng)建的hadoop網(wǎng)絡(luò)
--name Master ：把該容器名稱命名為Master
-p 9870:9870 ：將宿主機的9870端口號，映射到容器的9870端口
-p 8088:8088 ： 將宿主機的8088端口號，映射到容器的8088端口
這兩個開放端口
3.創(chuàng)建slave1容器，不開放端口
docker run -it --network hadoop -h Slave1 --name Slave1 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
不開端口，只有master容器開
4.創(chuàng)建slave2容器，不開放端口
docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
不開端口，只有master容器開
3.三臺主機都修改/etc/hosts文件
分別進入三臺主機，然后修改他們的hosts文件
vim /etc/hosts **************添加下面內(nèi)容************* 172.20.0.2 Master #（容器ip 容器主機名） 172.20.0.3 Slave1 172.20.0.4 Slave2
查看容器ip的方法
docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' 容器ID4.格式化hdfs
在master容器內(nèi)操作
進入hadoop的bin目錄格式化
可以看出hadoop的存放目錄為/usr/local/hadoop/
cd /usr/local/hadoop/bin - ./hadoop namenode -format
5.啟動hadoop
三臺主機容器內(nèi)部都可以
cd /usr/local/hadoop/sbin - ./start-all.sh
6.web訪問測試
宿主機ip:9870
到此這篇關(guān)于使用docker安裝hadoop（已實現(xiàn)） 的文章就介紹到這了,更多相關(guān)docker安裝hadoop內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了docker私有倉庫的搭建和使用詳解，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了docker的一些常用操作，幫助大家更好的理解和學習使用docker，感興趣的朋友可以了解下2021-04-04
docker中使用mysql數(shù)據(jù)庫實現(xiàn)局域網(wǎng)訪問
在本篇內(nèi)容里小編給大家整理了關(guān)于docker中使用mysql數(shù)據(jù)庫實現(xiàn)局域網(wǎng)訪問相關(guān)內(nèi)容，有需要的朋友們可以學習下。2020-03-03
Docker-client for python詳解及簡單示例
這篇文章主要介紹了Docker-client for python詳解及簡單示例的相關(guān)資料,需要的朋友可以參考下2017-04-04
Docker從零構(gòu)建php-nginx-alpine鏡像的方法
這篇文章主要介紹了Docker從零構(gòu)建php-nginx-alpine鏡像的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-11-11
本文主要介紹了docker search命令的具體使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
通過使用 Docker，可以快速的在本地搭建一套 Spark 環(huán)境，方便大家開發(fā) Spark 應(yīng)用，或者擴展到生產(chǎn)環(huán)境。下面這篇文章主要給大家介紹了使用docker快速搭建Spark集群的方法教程，需要的朋友可以參考借鑒，下面來一起看看吧。2017-06-06
在使用Docker的過程中,有時我們需要卸載Docker以清理系統(tǒng)環(huán)境或進行重新安裝,下面這篇文章主要給大家介紹了關(guān)于Docker完整卸載的兩種方法,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2024-07-07
docker-swarm之使用Docker secret管理敏感數(shù)據(jù)
就Docker Swarm集群服務(wù)而言,secret 是塊狀數(shù)據(jù),例如密碼、SSH私鑰、SSL證書或其他不應(yīng)通過網(wǎng)絡(luò)傳輸或未加密存儲在Dockerfile或應(yīng)用程序源代碼中的數(shù)據(jù),我們可以使用Docker secret 集中管理這些數(shù)據(jù),所以接下來就帶大家了解一下如何使用Docker secret 管理敏感數(shù)據(jù)2023-08-08
這篇文章主要介紹了使用Docker 安裝 Jenkins的方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01