詳解使用docker搭建kafka環(huán)境
Requirements
最近學(xué)習(xí)了下kafka，為方便搭建環(huán)境，使用docker進行部署。
需要首先安裝docker的環(huán)境。要求操作系統(tǒng)是linux的64位系統(tǒng)。
docker的安裝(適于rpm/deb安裝):
curl -fsSL https://get.docker.com/ | sh
docker-compose的安裝:
curl -L https://github.com/docker/compose/releases/download/1.7.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose
Kafka Image
Dockerfile
Dockerfile是用于描述鏡像的制作過程。根據(jù)kafka的教程，編寫對應(yīng)的Dockerfile。
基礎(chǔ)鏡像使用了centos6的版本，當(dāng)然根據(jù)需要也可以使用其他的版本。
FROM index.alauda.cn/tutum/centos:centos6 RUN yum install -y wget RUN wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.rpm RUN rpm -ivh jdk-8u91-linux-x64.rpm RUN mkdir -p /kafka && cd /kafka && wget http://mirrors.cnnic.cn/apache/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz && tar -xzf kafka_2.11-0.9.0.0.tgz && cd kafka_2.11-0.9.0.0 WORKDIR /kafka/kafka_2.11-0.9.0.0
有了這樣的一個Dockerfile，可以在本地，也可以使用公有云進行鏡像制作。在本地制作的話，可以使用該命令:
docker build -t index.alauda.cn/xuxinkun/kafka .
我使用了靈雀云的鏡像服務(wù)進行build。
Docker-Compose
有了鏡像之后，現(xiàn)在需要對服務(wù)進行啟動。這里使用了docker的編排服務(wù)docker-compose，進行編排。
kafka主要包括兩個服務(wù)，zookeeper和kafka。所以需要分別啟動兩個服務(wù)。這里將兩個服務(wù)直接使用宿主機的網(wǎng)絡(luò)。編寫docker-compose.yaml如下:
zk: image: index.alauda.cn/xuxinkun/kafka net: host stdin_open: true tty: true command: bin/zookeeper-server-start.sh config/zookeeper.properties kafka: image: index.alauda.cn/xuxinkun/kafka net: host stdin_open: true tty: true command: bin/kafka-server-start.sh config/server.properties
啟動服務(wù)
現(xiàn)在可以一條命令啟動所有的服務(wù):
[root@node1 Dockerfile]# docker-compose up -d Creating dockerfile_kafka_1 Creating dockerfile_zk_1
查看服務(wù)狀態(tài)
對服務(wù)狀態(tài)進行查看。
[root@node1 Dockerfile]# docker-compose ps
Name Command State Ports
----------------------------------------------------------------------
dockerfile_kafka_1 bin/kafka-server-start.sh ... Up
dockerfile_zk_1 bin/zookeeper-server-start ... Up
當(dāng)然也可以使用docker ps -a進行查看。
停止服務(wù)
[root@node1 Dockerfile]# docker-compose stop zk kafka Stopping dockerfile_kafka_1 ... done Stopping dockerfile_zk_1 ... done
刪除服務(wù)
[root@node1 Dockerfile]# docker-compose rm zk kafka
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- kafka調(diào)試中遇到Connection to node -1 could not be established. Broker may not be available.
- Docker + Nodejs + Kafka + Redis + MySQL搭建簡單秒殺環(huán)境
- Kafka 常用命令行詳細(xì)介紹及整理
- docker部署kafka的方法步驟
- Kafka利用Java實現(xiàn)數(shù)據(jù)的生產(chǎn)和消費實例教程
- kafka監(jiān)控獲取指定topic的消息總量示例
- Java使用kafka發(fā)送和生產(chǎn)消息的示例
- node連接kafka2.0實現(xiàn)方法示例
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于docker部署jdk21的鏡像的相關(guān)資料,鏡像中包含了應(yīng)用程序所需要的運行環(huán)境,函數(shù)庫,配置,以及應(yīng)用本身等各種文件,這些文件分層打包而成,需要的朋友可以參考下2024-02-02
使用minikube安裝使用單機版K8S方式(docker)
本文介紹了如何在centos7上使用minikube快速搭建單機版k8s,主要步驟包括：下載kubectl和docker,創(chuàng)建新用戶,下載和安裝minikube,驗證安裝情況,最后,通過執(zhí)行minikube和minikubestop啟停K8s,或使用minikubedelete徹底刪除K8S的數(shù)據(jù)2024-10-10
Docker?是一個開源工具,它可以讓創(chuàng)建和管理?Linux?容器變得簡單,容器就像是輕量級的虛擬機,并且可以以毫秒級的速度來啟動或停止,下面這篇文章主要給大家介紹了關(guān)于CentOS7上安裝Docker的詳細(xì)步驟,需要的朋友可以參考下2022-01-01
Docker部署用Python編寫的Web應(yīng)用的實踐
本文主要介紹了Docker部署用Python編寫的Web應(yīng)用，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-09-09
Docker查看鏡像的Dockerfile(docker history和docker inspec
這篇文章主要給大家介紹了關(guān)于Docker查看鏡像的Dockerfile的相關(guān)資料,文中主要運用的是docker history和docker inspect命令,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-05-05
詳解如何用docker安裝laravel開發(fā)環(huán)境
本篇文章主要介紹了詳解如何用docker安裝laravel開發(fā)環(huán)境，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-02-02
這篇文章主要給大家介紹了關(guān)于docker常用命令的相關(guān)資料,包括docker的啟動、停止、重啟、創(chuàng)建、查看等等,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-05-05
Node.js服務(wù)Docker容器化應(yīng)用實踐小結(jié)
這篇文章主要介紹了Node.js服務(wù)Docker容器化應(yīng)用實踐，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
IDEA 通過docker插件發(fā)布springboot項目的詳細(xì)教程
這篇文章主要介紹了IDEA 通過docker插件發(fā)布springboot項目的詳細(xì)教程,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-09-09
Docker-Compose搭建Spark集群的實現(xiàn)方法
本文主要介紹了Docker-Compose搭建Spark集群的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-05-05