Docker中部署flink集群的兩種方式
一、概述
本文將通過 2 種方式在 docker 中部署 flink standalone 集群,集群中共有 4 個節(jié)點,分別是 1 個 jobManager 節(jié)點和 3 個 taskManager 節(jié)點。方式一能快速部署一個 flink 集群,但是使用的是默認(rèn)配置,不夠靈活,方式二使用的是外置配置文件,可以靈活控制集群配置。
二、準(zhǔn)備工作
準(zhǔn)備工作是方式一和方式二都需要執(zhí)行的工作,準(zhǔn)備工作很簡單,就是用以下命令創(chuàng)建一個 flink 網(wǎng)絡(luò)
docker network create flink-network
三、方式一
依次執(zhí)行以下命令創(chuàng)建 flink 集群
docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 jobmanager docker run -d --name flink-taskmanager1 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager2 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager3 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
四、方式二
1、準(zhǔn)備配置文件
1.1、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件,并修改以下配置,然后重命名為 jobmanager-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 #taskmanager.bind-host: localhost #taskmanager.host: localhost rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.2、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件,并修改以下配置,然后重命名為 taskmanager1-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager1 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.3、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件,并修改以下配置,然后重命名為 taskmanager2-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager2 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.4、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件,并修改以下配置,然后重命名為 taskmanager3-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager3 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
2、執(zhí)行 docker 命令
依次執(zhí)行以下命令創(chuàng)建 flink 集群
docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/jobmanager-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 jobmanager docker run -d --name flink-taskmanager1 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager1-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager2 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager2-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager3 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager3-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
到此這篇關(guān)于Docker中部署flink集群的兩種方式的文章就介紹到這了,更多相關(guān)Docker部署flink集群內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
基于alpine用dockerfile創(chuàng)建的爬蟲Scrapy鏡像的實現(xiàn)
這篇文章主要介紹了基于alpine用dockerfile創(chuàng)建的爬蟲Scrapy鏡像的實現(xiàn),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-12-12基于Docker版本squid搭建代理服務(wù)器的過程詳解
這篇文章主要介紹了基于Docker版本squid搭建代理服務(wù)器的配置方法,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下本文給大家介紹的非常詳細(xì)2024-03-03Mac系統(tǒng)上用Docker搭建lamp環(huán)境
這篇文章主要給大家介紹了Mac系統(tǒng)上用Docker如何搭建lamp環(huán)境,文章給大家介紹的很詳細(xì),有需要的朋友們可以參考借鑒,下面來一起看看吧。2016-12-12docker如何刪除<none>/dangling/懸空鏡像
這篇文章主要介紹了docker如何刪除<none>/dangling/懸空鏡像問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-11-11