欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

docker使用dockercompose編排一個Hadoop集群方式

 更新時間:2024年01月17日 16:42:52   作者:大鵬blog  
這篇文章主要介紹了docker使用dockercompose編排一個Hadoop集群方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

使用dockercompose編排一個Hadoop集群

本文使用docker-compose 最簡單的方式編排一個Hadoop集群

運行腳本文件

version: "3"

services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.2-java8
    container_name: namenode
    ports:
      - 9870:9870
    volumes:
      - hadoop_namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
    env_file:
      - ./hadoop.env

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.2-java8
    container_name: datanode
    volumes:
      - hadoop_datanode:/hadoop/dfs/data
    environment:
      SERVICE_PRECONDITION: "namenode:9870"
    env_file:
      - ./hadoop.env
  
  resourcemanager:
    image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.2-java8
    container_name: resourcemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864"
    env_file:
      - ./hadoop.env

  nodemanager1:
    image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.2-java8
    container_name: nodemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    env_file:
      - ./hadoop.env
  
  historyserver:
    image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.2-java8
    container_name: historyserver
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    volumes:
      - hadoop_historyserver:/hadoop/yarn/timeline
    env_file:
      - ./hadoop.env
  
volumes:
  hadoop_namenode:
  hadoop_datanode:
  hadoop_historyserver:

運行方式

docker-compose up

運行

wordcount job
make wordcount

相關的訪問地址

Namenode: http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview
History server: http://<dockerhadoop_IP_address>:8188/applicationhistory
Datanode: http://<dockerhadoop_IP_address>:9864/
Nodemanager: http://<dockerhadoop_IP_address>:8042/node
Resource manager: http://<dockerhadoop_IP_address>:8088/

配置環(huán)境變量

配置參數(shù)可以在hadoop.env文件中指定

也可以作為特定服務(如namenode、datanode等)的環(huán)境變量指定:

可用配置包括

/etc/hadoop/core-site.xml CORE_CONF
/etc/hadoop/hdfs-site.xml HDFS_CONF
/etc/hadoop/yarn-site.xml YARN_CONF
/etc/hadoop/httpfs-site.xml HTTPFS_CONF
/etc/hadoop/kms-site.xml KMS_CONF
/etc/hadoop/mapred-site.xml MAPRED_CONF

總結(jié)

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • docker部署mysql 實現(xiàn)遠程連接的示例代碼

    docker部署mysql 實現(xiàn)遠程連接的示例代碼

    這篇文章主要介紹了docker部署mysql 實現(xiàn)遠程連接的示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-09-09
  • Docker部署nGrinder性能測試平臺過程解析

    Docker部署nGrinder性能測試平臺過程解析

    這篇文章主要介紹了Docker部署nGrinder性能測試平臺過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-11-11
  • Docker配置國內(nèi)加速器加速鏡像下載的方法

    Docker配置國內(nèi)加速器加速鏡像下載的方法

    本篇文章主要介紹了Docker配置國內(nèi)加速器加速鏡像下載的方法,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2017-07-07
  • 解決docker啟動容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:Operation?not?permitted

    解決docker啟動容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:

    這篇文章主要介紹了解決docker啟動容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:Operation?not?permitted,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-05-05
  • Windows Docker端口占用錯誤及解決方案總結(jié)

    Windows Docker端口占用錯誤及解決方案總結(jié)

    在 Windows 環(huán)境下使用 Docker 容器時,端口占用錯誤是開發(fā)和運維中常見且棘手的問題,本文將深入剖析該問題的成因,介紹如何通過查看端口分配,合理調(diào)整動態(tài)端口范圍,以及重啟網(wǎng)絡服務等實用技巧,有效解決 Windows Docker 端口占用錯誤,需要的朋友可以參考下
    2025-04-04
  • docker中CMD和ENTRYPOINT區(qū)別

    docker中CMD和ENTRYPOINT區(qū)別

    本文主要介紹了docker中CMD和ENTRYPOINT區(qū)別,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-04-04
  • docker pull命令拉取鏡像失敗的解決方案

    docker pull命令拉取鏡像失敗的解決方案

    本文介紹了docker pull命令拉取鏡像失敗的解決方案,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2024-11-11
  • docker-compose教程之安裝使用和快速入門

    docker-compose教程之安裝使用和快速入門

    這篇文章主要介紹了docker-compose教程之安裝使用和快速入門,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-01-01
  • Docker部署RocketMQ的實現(xiàn)示例

    Docker部署RocketMQ的實現(xiàn)示例

    本文主要介紹了Docker部署RocketMQ的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2024-10-10
  • docker修改容器配置文件的3種方法總結(jié)

    docker修改容器配置文件的3種方法總結(jié)

    有時候可能需要修改運行在docker容器中的nginx的配置文件,或者其他一些已經(jīng)運行和啟動很久的容器中的配置文件,下面這篇文章主要給大家介紹了關于docker修改容器配置文件的3種方法,需要的朋友可以參考下
    2022-04-04

最新評論