快捷導(dǎo)航

Docker中部署flink集群的兩種方式

更新時(shí)間：2024年02月20日 15:58:15 作者：尐葮阿譽(yù)

這篇文章主要介紹了Docker中部署flink集群的兩種方式,本文將通過(guò) 2 種方式在 docker 中部署 flink standalone 集群,集群中共有 4 個(gè)節(jié)點(diǎn),分別是 1 個(gè) jobManager 節(jié)點(diǎn)和 3 個(gè) taskManager 節(jié)點(diǎn),需要的朋友可以參考下

一、概述

本文將通過(guò) 2 種方式在 docker 中部署 flink standalone 集群，集群中共有 4 個(gè)節(jié)點(diǎn)，分別是 1 個(gè) jobManager 節(jié)點(diǎn)和 3 個(gè) taskManager 節(jié)點(diǎn)。方式一能快速部署一個(gè) flink 集群，但是使用的是默認(rèn)配置，不夠靈活，方式二使用的是外置配置文件，可以靈活控制集群配置。

二、準(zhǔn)備工作

準(zhǔn)備工作是方式一和方式二都需要執(zhí)行的工作，準(zhǔn)備工作很簡(jiǎn)單，就是用以下命令創(chuàng)建一個(gè) flink 網(wǎng)絡(luò)

docker network create flink-network

三、方式一

依次執(zhí)行以下命令創(chuàng)建 flink 集群

docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 jobmanager
docker run -d --name flink-taskmanager1 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager2 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager3 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager

四、方式二

1、準(zhǔn)備配置文件

1.1、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 jobmanager-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
#taskmanager.bind-host: localhost
#taskmanager.host: localhost
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.2、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager1-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager1
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.3、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager2-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager2
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

1.4、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager3-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下

jobmanager.rpc.address: flink-jobmanager
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink-taskmanager3
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

2、執(zhí)行 docker 命令

依次執(zhí)行以下命令創(chuàng)建 flink 集群

docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/jobmanager-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 jobmanager
docker run -d --name flink-taskmanager1 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager1-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager2 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager2-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
docker run -d --name flink-taskmanager3 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager3-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager

到此這篇關(guān)于Docker中部署flink集群的兩種方式的文章就介紹到這了,更多相關(guān)Docker部署flink集群內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: