欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

docker使用dockercompose編排一個(gè)Hadoop集群方式

 更新時(shí)間:2024年01月17日 16:42:52   作者:大鵬blog  
這篇文章主要介紹了docker使用dockercompose編排一個(gè)Hadoop集群方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

使用dockercompose編排一個(gè)Hadoop集群

本文使用docker-compose 最簡(jiǎn)單的方式編排一個(gè)Hadoop集群

運(yùn)行腳本文件

version: "3"

services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.2-java8
    container_name: namenode
    ports:
      - 9870:9870
    volumes:
      - hadoop_namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
    env_file:
      - ./hadoop.env

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.2-java8
    container_name: datanode
    volumes:
      - hadoop_datanode:/hadoop/dfs/data
    environment:
      SERVICE_PRECONDITION: "namenode:9870"
    env_file:
      - ./hadoop.env
  
  resourcemanager:
    image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.2-java8
    container_name: resourcemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864"
    env_file:
      - ./hadoop.env

  nodemanager1:
    image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.2-java8
    container_name: nodemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    env_file:
      - ./hadoop.env
  
  historyserver:
    image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.2-java8
    container_name: historyserver
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    volumes:
      - hadoop_historyserver:/hadoop/yarn/timeline
    env_file:
      - ./hadoop.env
  
volumes:
  hadoop_namenode:
  hadoop_datanode:
  hadoop_historyserver:

運(yùn)行方式

docker-compose up

運(yùn)行

wordcount job
make wordcount

相關(guān)的訪問(wèn)地址

Namenode: http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview
History server: http://<dockerhadoop_IP_address>:8188/applicationhistory
Datanode: http://<dockerhadoop_IP_address>:9864/
Nodemanager: http://<dockerhadoop_IP_address>:8042/node
Resource manager: http://<dockerhadoop_IP_address>:8088/

配置環(huán)境變量

配置參數(shù)可以在hadoop.env文件中指定

也可以作為特定服務(wù)(如namenode、datanode等)的環(huán)境變量指定:

可用配置包括

/etc/hadoop/core-site.xml CORE_CONF
/etc/hadoop/hdfs-site.xml HDFS_CONF
/etc/hadoop/yarn-site.xml YARN_CONF
/etc/hadoop/httpfs-site.xml HTTPFS_CONF
/etc/hadoop/kms-site.xml KMS_CONF
/etc/hadoop/mapred-site.xml MAPRED_CONF

總結(jié)

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • docker部署mysql 實(shí)現(xiàn)遠(yuǎn)程連接的示例代碼

    docker部署mysql 實(shí)現(xiàn)遠(yuǎn)程連接的示例代碼

    這篇文章主要介紹了docker部署mysql 實(shí)現(xiàn)遠(yuǎn)程連接的示例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-09-09
  • Docker部署nGrinder性能測(cè)試平臺(tái)過(guò)程解析

    Docker部署nGrinder性能測(cè)試平臺(tái)過(guò)程解析

    這篇文章主要介紹了Docker部署nGrinder性能測(cè)試平臺(tái)過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-11-11
  • Docker配置國(guó)內(nèi)加速器加速鏡像下載的方法

    Docker配置國(guó)內(nèi)加速器加速鏡像下載的方法

    本篇文章主要介紹了Docker配置國(guó)內(nèi)加速器加速鏡像下載的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2017-07-07
  • 解決docker啟動(dòng)容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:Operation?not?permitted

    解決docker啟動(dòng)容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:

    這篇文章主要介紹了解決docker啟動(dòng)容器失敗:cannot?access‘/docker-entrypoint-initdb.d/‘:Operation?not?permitted,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-05-05
  • Windows Docker端口占用錯(cuò)誤及解決方案總結(jié)

    Windows Docker端口占用錯(cuò)誤及解決方案總結(jié)

    在 Windows 環(huán)境下使用 Docker 容器時(shí),端口占用錯(cuò)誤是開(kāi)發(fā)和運(yùn)維中常見(jiàn)且棘手的問(wèn)題,本文將深入剖析該問(wèn)題的成因,介紹如何通過(guò)查看端口分配,合理調(diào)整動(dòng)態(tài)端口范圍,以及重啟網(wǎng)絡(luò)服務(wù)等實(shí)用技巧,有效解決 Windows Docker 端口占用錯(cuò)誤,需要的朋友可以參考下
    2025-04-04
  • docker中CMD和ENTRYPOINT區(qū)別

    docker中CMD和ENTRYPOINT區(qū)別

    本文主要介紹了docker中CMD和ENTRYPOINT區(qū)別,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2023-04-04
  • docker pull命令拉取鏡像失敗的解決方案

    docker pull命令拉取鏡像失敗的解決方案

    本文介紹了docker pull命令拉取鏡像失敗的解決方案,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2024-11-11
  • docker-compose教程之安裝使用和快速入門(mén)

    docker-compose教程之安裝使用和快速入門(mén)

    這篇文章主要介紹了docker-compose教程之安裝使用和快速入門(mén),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01
  • Docker部署RocketMQ的實(shí)現(xiàn)示例

    Docker部署RocketMQ的實(shí)現(xiàn)示例

    本文主要介紹了Docker部署RocketMQ的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2024-10-10
  • docker修改容器配置文件的3種方法總結(jié)

    docker修改容器配置文件的3種方法總結(jié)

    有時(shí)候可能需要修改運(yùn)行在docker容器中的nginx的配置文件,或者其他一些已經(jīng)運(yùn)行和啟動(dòng)很久的容器中的配置文件,下面這篇文章主要給大家介紹了關(guān)于docker修改容器配置文件的3種方法,需要的朋友可以參考下
    2022-04-04

最新評(píng)論