docker使用dockercompose編排一個Hadoop集群方式
更新時間：2024年01月17日 16:42:52 作者：大鵬blog
這篇文章主要介紹了docker使用dockercompose編排一個Hadoop集群方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
使用dockercompose編排一個Hadoop集群
本文使用docker-compose 最簡單的方式編排一個Hadoop集群
運行腳本文件
version: "3"
services:
namenode:
image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.2-java8
container_name: namenode
ports:
- 9870:9870
volumes:
- hadoop_namenode:/hadoop/dfs/name
environment:
- CLUSTER_NAME=test
env_file:
- ./hadoop.env
datanode:
image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.2-java8
container_name: datanode
volumes:
- hadoop_datanode:/hadoop/dfs/data
environment:
SERVICE_PRECONDITION: "namenode:9870"
env_file:
- ./hadoop.env
resourcemanager:
image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.2-java8
container_name: resourcemanager
environment:
SERVICE_PRECONDITION: "namenode:9870 datanode:9864"
env_file:
- ./hadoop.env
nodemanager1:
image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.2-java8
container_name: nodemanager
environment:
SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
env_file:
- ./hadoop.env
historyserver:
image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.2-java8
container_name: historyserver
environment:
SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
volumes:
- hadoop_historyserver:/hadoop/yarn/timeline
env_file:
- ./hadoop.env
volumes:
hadoop_namenode:
hadoop_datanode:
hadoop_historyserver:
運行方式
docker-compose up
運行
wordcount job make wordcount
相關的訪問地址
Namenode: http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview History server: http://<dockerhadoop_IP_address>:8188/applicationhistory Datanode: http://<dockerhadoop_IP_address>:9864/ Nodemanager: http://<dockerhadoop_IP_address>:8042/node Resource manager: http://<dockerhadoop_IP_address>:8088/
配置環(huán)境變量
配置參數(shù)可以在hadoop.env文件中指定
也可以作為特定服務（如namenode、datanode等）的環(huán)境變量指定：
可用配置包括
/etc/hadoop/core-site.xml CORE_CONF /etc/hadoop/hdfs-site.xml HDFS_CONF /etc/hadoop/yarn-site.xml YARN_CONF /etc/hadoop/httpfs-site.xml HTTPFS_CONF /etc/hadoop/kms-site.xml KMS_CONF /etc/hadoop/mapred-site.xml MAPRED_CONF
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
docker部署mysql 實現(xiàn)遠程連接的示例代碼
這篇文章主要介紹了docker部署mysql 實現(xiàn)遠程連接的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-09-09
這篇文章主要介紹了Docker部署nGrinder性能測試平臺過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-11-11
本篇文章主要介紹了Docker配置國內(nèi)加速器加速鏡像下載的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-07-07
解決docker啟動容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:
這篇文章主要介紹了解決docker啟動容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:Operation?not?permitted,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-05-05
Windows Docker端口占用錯誤及解決方案總結(jié)
在 Windows 環(huán)境下使用 Docker 容器時,端口占用錯誤是開發(fā)和運維中常見且棘手的問題,本文將深入剖析該問題的成因,介紹如何通過查看端口分配,合理調(diào)整動態(tài)端口范圍,以及重啟網(wǎng)絡服務等實用技巧,有效解決 Windows Docker 端口占用錯誤,需要的朋友可以參考下2025-04-04
本文主要介紹了docker中CMD和ENTRYPOINT區(qū)別，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-04-04
本文介紹了docker pull命令拉取鏡像失敗的解決方案,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-11-11
這篇文章主要介紹了docker-compose教程之安裝使用和快速入門，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-01-01
本文主要介紹了Docker部署RocketMQ的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-10-10
有時候可能需要修改運行在docker容器中的nginx的配置文件,或者其他一些已經(jīng)運行和啟動很久的容器中的配置文件,下面這篇文章主要給大家介紹了關于docker修改容器配置文件的3種方法,需要的朋友可以參考下2022-04-04