docker使用dockercompose編排一個Hadoop集群方式
更新時間:2024年01月17日 16:42:52 作者:大鵬blog
這篇文章主要介紹了docker使用dockercompose編排一個Hadoop集群方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
使用dockercompose編排一個Hadoop集群
本文使用docker-compose 最簡單的方式編排一個Hadoop集群
運行腳本文件
version: "3" services: namenode: image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.2-java8 container_name: namenode ports: - 9870:9870 volumes: - hadoop_namenode:/hadoop/dfs/name environment: - CLUSTER_NAME=test env_file: - ./hadoop.env datanode: image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.2-java8 container_name: datanode volumes: - hadoop_datanode:/hadoop/dfs/data environment: SERVICE_PRECONDITION: "namenode:9870" env_file: - ./hadoop.env resourcemanager: image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.2-java8 container_name: resourcemanager environment: SERVICE_PRECONDITION: "namenode:9870 datanode:9864" env_file: - ./hadoop.env nodemanager1: image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.2-java8 container_name: nodemanager environment: SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088" env_file: - ./hadoop.env historyserver: image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.2-java8 container_name: historyserver environment: SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088" volumes: - hadoop_historyserver:/hadoop/yarn/timeline env_file: - ./hadoop.env volumes: hadoop_namenode: hadoop_datanode: hadoop_historyserver:
運行方式
docker-compose up
運行
wordcount job make wordcount
相關的訪問地址
Namenode: http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview History server: http://<dockerhadoop_IP_address>:8188/applicationhistory Datanode: http://<dockerhadoop_IP_address>:9864/ Nodemanager: http://<dockerhadoop_IP_address>:8042/node Resource manager: http://<dockerhadoop_IP_address>:8088/
配置環(huán)境變量
配置參數(shù)可以在hadoop.env文件中指定
也可以作為特定服務(如namenode、datanode等)的環(huán)境變量指定:
可用配置包括
/etc/hadoop/core-site.xml CORE_CONF /etc/hadoop/hdfs-site.xml HDFS_CONF /etc/hadoop/yarn-site.xml YARN_CONF /etc/hadoop/httpfs-site.xml HTTPFS_CONF /etc/hadoop/kms-site.xml KMS_CONF /etc/hadoop/mapred-site.xml MAPRED_CONF
總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
docker部署mysql 實現(xiàn)遠程連接的示例代碼
這篇文章主要介紹了docker部署mysql 實現(xiàn)遠程連接的示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2019-09-09解決docker啟動容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:
這篇文章主要介紹了解決docker啟動容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:Operation?not?permitted,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-05-05Windows Docker端口占用錯誤及解決方案總結(jié)
在 Windows 環(huán)境下使用 Docker 容器時,端口占用錯誤是開發(fā)和運維中常見且棘手的問題,本文將深入剖析該問題的成因,介紹如何通過查看端口分配,合理調(diào)整動態(tài)端口范圍,以及重啟網(wǎng)絡服務等實用技巧,有效解決 Windows Docker 端口占用錯誤,需要的朋友可以參考下2025-04-04