Docker中安裝和配置Apache Pulsar實現(xiàn)

更新時間：2025年01月06日 10:34:08 作者：.NET跨平臺

本文介紹了在Docker中安裝和配置Apache Pulsar集群,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

1. 安裝Docker和Docker Compose

確保您的系統(tǒng)中已安裝Docker和Docker Compose。如果還沒有安裝，可以參考以下鏈接進行安裝：

Docker安裝指南
Docker Compose安裝指南

2. 拉取Pulsar鏡像

Pulsar的官方Docker鏡像可以通過Docker Hub獲取。首先，拉取最新的Pulsar鏡像：

docker pull apache/pulsar

3. 創(chuàng)建Pulsar的Docker Compose文件

為了更容易管理和啟動多個服務(wù)，建議使用Docker Compose。創(chuàng)建一個名為 docker-compose.yml 的文件，內(nèi)容如下：

version: '3'  # 使用的Docker Compose版本

services:
  # Pulsar 服務(wù)定義，負責消息傳遞的主要工作
  pulsar:
    image: apache/pulsar  # 使用官方的Pulsar鏡像
    environment:
      # 配置JVM內(nèi)存大小
      - PULSAR_MEM="-Xms2g -Xmx2g"  # 設(shè)置Pulsar的堆內(nèi)存大小
      # 設(shè)置Pulsar的租戶和集群名稱
      - PULSAR_TENANT=public  # 設(shè)置默認的租戶
      - PULSAR_CLUSTER=standalone  # 設(shè)置集群名稱為"standalone"
      # 配置Zookeeper服務(wù)的地址，Pulsar依賴Zookeeper來管理集群元數(shù)據(jù)
      - PULSAR_ZOOKEEPER_SERVERS=zookeeper:2181  # 指定Zookeeper的服務(wù)地址
      # 配置Pulsar的客戶端、HTTP、管理服務(wù)端口
      - PULSAR_BROKER_SERVICE_PORT=6650  # Pulsar的客戶端服務(wù)端口
      - PULSAR_HTTP_SERVICE_PORT=8080  # Pulsar的HTTP接口服務(wù)端口（用于Web UI）
      - PULSAR_MANAGEMENT_SERVICE_PORT=8090  # Pulsar的管理接口服務(wù)端口
    ports:
      # 綁定本地端口到容器端口
      - "6650:6650"  # 映射Pulsar客戶端連接端口
      - "8080:8080"  # 映射Web UI端口（用于訪問Pulsar Dashboard）
      - "8090:8090"  # 映射管理接口端口
    depends_on:
      # Pulsar依賴于Zookeeper和Bookkeeper服務(wù)啟動
      - zookeeper
      - bookkeeper
    command: >
      bin/pulsar standalone  # 啟動Pulsar的standalone模式（適合單機部署）
    networks:
      - pulsar-net  # 使用名為pulsar-net的網(wǎng)絡(luò)

  # Zookeeper 服務(wù)定義，Pulsar集群的協(xié)調(diào)服務(wù)
  zookeeper:
    image: wurstmeister/zookeeper  # 使用Wurstmeister提供的Zookeeper鏡像
    environment:
      - ZOOKEEPER_CLIENT_PORT=2181  # Zookeeper的客戶端連接端口
    ports:
      - "2181:2181"  # 映射Zookeeper客戶端連接端口
    networks:
      - pulsar-net  # 同樣使用pulsar-net網(wǎng)絡(luò)，以便服務(wù)之間通信

  # Bookkeeper 服務(wù)定義，Pulsar的持久化存儲
  bookkeeper:
    image: apache/pulsar  # 使用Pulsar官方鏡像，因為Bookkeeper是Pulsar的一部分
    environment:
      - PULSAR_MEM="-Xms2g -Xmx2g"  # 設(shè)置Bookkeeper的JVM內(nèi)存大小
      - PULSAR_ZOOKEEPER_SERVERS=zookeeper:2181  # 配置Zookeeper地址（Bookkeeper也需要Zookeeper來協(xié)調(diào)）
      - PULSAR_METRICS_PROVIDER=org.apache.pulsar.broker.PulsarMetricsProvider  # 配置性能度量提供者
    depends_on:
      # Bookkeeper依賴于Zookeeper服務(wù)啟動
      - zookeeper
    networks:
      - pulsar-net  # 同樣使用pulsar-net網(wǎng)絡(luò)

# 定義網(wǎng)絡(luò)
networks:
  pulsar-net:
    driver: bridge  # 使用橋接網(wǎng)絡(luò)驅(qū)動程序，確保容器能夠相互通信

這個docker-compose.yml文件定義了三個服務(wù)：

Pulsar: 作為Pulsar broker，提供消息服務(wù)。
Zookeeper: 用于協(xié)調(diào)Pulsar集群的元數(shù)據(jù)和狀態(tài)。
Bookkeeper: 用于持久化消息。

注釋解釋：

version: '3':
- 指定了Docker Compose的版本。這是Compose文件的標準格式版本，通常與Docker引擎的版本兼容。
services::
- 定義了一個或多個服務(wù)，每個服務(wù)都是一個Docker容器。在這個配置中，我們定義了三個主要服務(wù)：pulsar、zookeeper和bookkeeper。
pulsar服務(wù)：
- image: apache/pulsar: 使用官方的Pulsar鏡像。
- environment:: 設(shè)置環(huán)境變量來配置Pulsar容器。包括內(nèi)存大小、集群名稱、Zookeeper地址、端口等。
- ports:: 將Pulsar的容器端口映射到主機的端口上。6650用于客戶端連接，8080用于Web UI，8090用于管理服務(wù)。
- depends_on:: 定義Pulsar服務(wù)依賴于zookeeper和bookkeeper服務(wù)啟動，確保這些服務(wù)在Pulsar啟動前已經(jīng)運行。
- command:: 指定啟動容器時的命令，這里使用bin/pulsar standalone來啟動Pulsar的單機模式。
zookeeper服務(wù)：
- image: wurstmeister/zookeeper: 使用wurstmeister/zookeeper鏡像，這個鏡像提供了一個Zookeeper容器實例。
- ports:: 將Zookeeper的端口2181暴露到主機上，Pulsar會通過該端口與Zookeeper進行通信。
bookkeeper服務(wù)：
- image: apache/pulsar: Bookkeeper與Pulsar共享同一個鏡像，因為它是Pulsar的一部分。
- depends_on:: Bookkeeper依賴Zookeeper服務(wù)，因此必須在Zookeeper啟動之后再啟動。
networks::
- 定義了一個名為pulsar-net的網(wǎng)絡(luò)，確保所有的服務(wù)能夠在同一網(wǎng)絡(luò)下相互通信。此網(wǎng)絡(luò)使用bridge驅(qū)動，它是Docker的默認網(wǎng)絡(luò)驅(qū)動。

運行時步驟：

使用 docker-compose up -d 啟動服務(wù)。
使用 docker-compose ps 檢查容器狀態(tài)。
使用瀏覽器訪問 http://localhost:8080，進入Pulsar的Web UI。

4. 啟動Pulsar集群

在docker-compose.yml文件所在的目錄中執(zhí)行以下命令啟動Pulsar集群：

docker-compose up -d

這個命令會拉取鏡像并啟動Pulsar、Zookeeper和Bookkeeper服務(wù)。

5. 驗證Pulsar集群是否正常運行

您可以通過以下命令檢查Docker容器的運行狀態(tài)：

docker-compose ps

如果所有容器的狀態(tài)是“Up”，則表示服務(wù)已經(jīng)成功啟動。

6. 訪問Pulsar Web UI（可選）

Pulsar提供了一個Web UI界面，可以用于管理和查看集群狀態(tài)。您可以通過訪問 http://localhost:8080 來查看Pulsar的Web控制臺。

7. 使用Pulsar命令行客戶端進行測試

您可以使用Pulsar提供的命令行工具測試集群是否正常工作。首先進入Pulsar容器：

docker exec -it <pulsar_container_id> bash

然后，您可以使用pulsar-client命令來發(fā)送和接收消息。例如，發(fā)送一個簡單的消息：

bin/pulsar-client produce my-topic --messages "Hello Pulsar"

接收消息：

bin/pulsar-client consume my-topic -n 1

8. 配置多節(jié)點Pulsar集群

對于生產(chǎn)環(huán)境，您可能需要配置多節(jié)點Pulsar集群。在此情況下，您需要：

部署多個Pulsar、Zookeeper和Bookkeeper實例。
配置Pulsar的集群和分區(qū)設(shè)置，以確保高可用性和擴展性。

對于多節(jié)點集群配置，您需要在docker-compose.yml中配置不同的節(jié)點，并設(shè)置正確的環(huán)境變量。也可以在多個主機上部署容器實例。

9. 配置Pulsar客戶端連接

在客戶端應(yīng)用中，您需要使用Pulsar的客戶端連接到您的Pulsar集群。以下是C#客戶端代碼示例，使用Apache Pulsar C#客戶端庫：

using Pulsar.Client;

class Program
{
    static async Task Main(string[] args)
    {
        var client = await PulsarClient.CreateAsync(new ClientConfiguration
        {
            ServiceUrl = "pulsar://localhost:6650"
        });

        var producer = await client.NewProducer()
            .Topic("my-topic")
            .CreateAsync();

        await producer.SendAsync(Encoding.UTF8.GetBytes("Hello Pulsar"));

        var consumer = await client.NewConsumer()
            .Topic("my-topic")
            .SubscriptionName("my-subscription")
            .SubscribeAsync();

        var message = await consumer.ReceiveAsync();
        Console.WriteLine(Encoding.UTF8.GetString(message.Data));

        await client.CloseAsync();
    }
}