docker使用dockercompose編排一個(gè)Hadoop集群方式
使用dockercompose編排一個(gè)Hadoop集群
本文使用docker-compose 最簡(jiǎn)單的方式編排一個(gè)Hadoop集群
運(yùn)行腳本文件
version: "3" services: namenode: image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.2-java8 container_name: namenode ports: - 9870:9870 volumes: - hadoop_namenode:/hadoop/dfs/name environment: - CLUSTER_NAME=test env_file: - ./hadoop.env datanode: image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.2-java8 container_name: datanode volumes: - hadoop_datanode:/hadoop/dfs/data environment: SERVICE_PRECONDITION: "namenode:9870" env_file: - ./hadoop.env resourcemanager: image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.2-java8 container_name: resourcemanager environment: SERVICE_PRECONDITION: "namenode:9870 datanode:9864" env_file: - ./hadoop.env nodemanager1: image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.2-java8 container_name: nodemanager environment: SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088" env_file: - ./hadoop.env historyserver: image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.2-java8 container_name: historyserver environment: SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088" volumes: - hadoop_historyserver:/hadoop/yarn/timeline env_file: - ./hadoop.env volumes: hadoop_namenode: hadoop_datanode: hadoop_historyserver:
運(yùn)行方式
docker-compose up
運(yùn)行
wordcount job make wordcount
相關(guān)的訪問(wèn)地址
Namenode: http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview History server: http://<dockerhadoop_IP_address>:8188/applicationhistory Datanode: http://<dockerhadoop_IP_address>:9864/ Nodemanager: http://<dockerhadoop_IP_address>:8042/node Resource manager: http://<dockerhadoop_IP_address>:8088/
配置環(huán)境變量
配置參數(shù)可以在hadoop.env文件中指定
也可以作為特定服務(wù)(如namenode、datanode等)的環(huán)境變量指定:
可用配置包括
/etc/hadoop/core-site.xml CORE_CONF /etc/hadoop/hdfs-site.xml HDFS_CONF /etc/hadoop/yarn-site.xml YARN_CONF /etc/hadoop/httpfs-site.xml HTTPFS_CONF /etc/hadoop/kms-site.xml KMS_CONF /etc/hadoop/mapred-site.xml MAPRED_CONF
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
docker部署mysql 實(shí)現(xiàn)遠(yuǎn)程連接的示例代碼
這篇文章主要介紹了docker部署mysql 實(shí)現(xiàn)遠(yuǎn)程連接的示例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09Docker部署nGrinder性能測(cè)試平臺(tái)過(guò)程解析
這篇文章主要介紹了Docker部署nGrinder性能測(cè)試平臺(tái)過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11Docker配置國(guó)內(nèi)加速器加速鏡像下載的方法
本篇文章主要介紹了Docker配置國(guó)內(nèi)加速器加速鏡像下載的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-07-07解決docker啟動(dòng)容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:
這篇文章主要介紹了解決docker啟動(dòng)容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:Operation?not?permitted,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-05-05Windows Docker端口占用錯(cuò)誤及解決方案總結(jié)
在 Windows 環(huán)境下使用 Docker 容器時(shí),端口占用錯(cuò)誤是開(kāi)發(fā)和運(yùn)維中常見(jiàn)且棘手的問(wèn)題,本文將深入剖析該問(wèn)題的成因,介紹如何通過(guò)查看端口分配,合理調(diào)整動(dòng)態(tài)端口范圍,以及重啟網(wǎng)絡(luò)服務(wù)等實(shí)用技巧,有效解決 Windows Docker 端口占用錯(cuò)誤,需要的朋友可以參考下2025-04-04docker-compose教程之安裝使用和快速入門(mén)
這篇文章主要介紹了docker-compose教程之安裝使用和快速入門(mén),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01Docker部署RocketMQ的實(shí)現(xiàn)示例
本文主要介紹了Docker部署RocketMQ的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-10-10