RocketMQ中的消息發(fā)送與消費詳解

更新時間：2023年10月11日 10:45:02 作者：Anbang713

這篇文章主要介紹了RocketMQ中的消息發(fā)送與消費詳解,RocketMQ是一款高性能、高可靠性的分布式消息中間件,消費者是RocketMQ中的重要組成部分,消費者負責(zé)從消息隊列中獲取消息并進行處理,需要的朋友可以參考下

1. 開發(fā)環(huán)境

（1）引入RocketMQ客戶端依賴

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.4.0</version>
</dependency>

（2）生產(chǎn)和消費步驟分析

消息生產(chǎn)者

1.創(chuàng)建消息生產(chǎn)者producer，并指定生產(chǎn)者組名

2.指定Nameserver地址

3.啟動producer

4.創(chuàng)建消息對象，指定主題Topic、Tag和消息體

5.發(fā)送消息

6.關(guān)閉生產(chǎn)者producer

消息消費者

1.創(chuàng)建消費者Consumer，制定消費者組名

2.指定Nameserver地址

3.訂閱主題Topic和Tag

4.設(shè)置回調(diào)函數(shù)，處理消息

5.啟動消費者consumer

2. 基本樣例

2.2 消息發(fā)送

2.2.1 發(fā)送同步消息

這種可靠性同步地發(fā)送方式使用的比較廣泛，比如：重要的消息通知，短信通知。

public class SyncProducer {
    public static void main(String[] args) throws Exception {
        // 1.創(chuàng)建消息生產(chǎn)者producer，并指定生產(chǎn)者組名
        DefaultMQProducer producer = new DefaultMQProducer("base-sync-producer");
        // 2.指定NameServer地址
        producer.setNamesrvAddr("192.168.1.17:9876");
        // 3.啟動producer
        producer.start();
        // 4.創(chuàng)建消息對象，指定topic、tag和消息體
        Message message = new Message("TestTopic", "TagA", "Hello World!".getBytes());
        // 5.發(fā)送消息
        SendResult sendResult = producer.send(message);
        System.out.printf("%s%n", sendResult);
        // 6.關(guān)閉生產(chǎn)者
        producer.shutdown();
    }
}

2.2.2 發(fā)送異步消息

異步消息通常用在對響應(yīng)時間敏感的業(yè)務(wù)場景，即發(fā)送端不能容忍長時間地等待Broker的響應(yīng)。

public class AsyncProducer {
    public static void main(String[] args) throws Exception {
        // 1.實例化消息生產(chǎn)者Producer
        DefaultMQProducer producer = new DefaultMQProducer("base-async-producer");
        // 2.設(shè)置NameServer的地址
        producer.setNamesrvAddr("192.168.1.17:9876");
        // 3.啟動Producer實例
        producer.start();
        // 異步發(fā)送失敗時，重試次數(shù)。默認為2
        producer.setRetryTimesWhenSendAsyncFailed(0);
        for (int i = 0; i < 10; i++) {
            final int index = i;
            // 4.創(chuàng)建消息，并指定Topic，Tag和消息體
            Message msg = new Message("TestTopic",
                    "TagA",
                    "OrderID188",
                    "Hello World!".getBytes(RemotingHelper.DEFAULT_CHARSET));
            // 5.SendCallback接收異步返回結(jié)果的回調(diào)
            producer.send(msg, new SendCallback() {
                @Override
                public void onSuccess(SendResult sendResult) {
                    System.out.printf("%-10d OK %s %n", index,
                            sendResult.getMsgId());
                }
                @Override
                public void onException(Throwable e) {
                    System.out.printf("%-10d Exception %s %n", index, e);
                    e.printStackTrace();
                }
            });
        }
        // 休眠一分鐘，否則當producer關(guān)閉時，無法接收mq的異步回調(diào)結(jié)果
        TimeUnit.MINUTES.sleep(1);
        // 6.如果不再發(fā)送消息，關(guān)閉Producer實例。
        producer.shutdown();
    }
}

2.2.3 發(fā)送單向消息

這種方式主要用在不特別關(guān)心發(fā)送結(jié)果的場景，例如日志發(fā)送。

public class OnewayProducer {
    public static void main(String[] args) throws Exception {
        // 1.實例化消息生產(chǎn)者Producer
        DefaultMQProducer producer = new DefaultMQProducer("base-oneway-producer");
        // 2.設(shè)置NameServer的地址
        producer.setNamesrvAddr("192.168.1.17:9876");
        // 3.啟動Producer實例
        producer.start();
        for (int i = 0; i < 5; i++) {
            // 4.創(chuàng)建消息，并指定Topic，Tag和消息體
            Message msg = new Message("TestTopic",
                    "TagA",
                    ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) 
            );
            // 5.發(fā)送單向消息，沒有任何返回結(jié)果
            producer.sendOneway(msg);
        }
        // 6.如果不再發(fā)送消息，關(guān)閉Producer實例。
        producer.shutdown();
    }
}

2.2 消費消息

2.2.1 負載均衡模式

消費者采用負載均衡方式消費消息，多個消費者共同消費隊列消息，每個消費者處理的消息不同。

public class Consumer {
    public static void main(String[] args) throws Exception {
        // 1.實例化消息生產(chǎn)者，指定組名
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
        // 2.指定NameServer地址信息.
        consumer.setNamesrvAddr("192.168.1.17:9876");
        // 3.訂閱Topic
        consumer.subscribe("TestTopic", "*");
        // 4.負載均衡模式消費(默認就是負載均衡模式)
        consumer.setMessageModel(MessageModel.CLUSTERING);
        // 5.注冊回調(diào)函數(shù)，處理消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                            ConsumeConcurrentlyContext context) {
                System.out.printf("%s Receive New Messages: %s %n",
                        Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        // 6.啟動消息者
        consumer.start();
    }
}

2.2.2 廣播模式

消費者采用廣播的方式消費消息，每個消費者消費的消息都是相同的。

public class Consumer {
    public static void main(String[] args) throws Exception {
        // 1.實例化消息生產(chǎn)者，指定組名
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
        // 2.指定NameServer地址信息.
        consumer.setNamesrvAddr("192.168.1.17:9876");
        // 3.訂閱Topic
        consumer.subscribe("TestTopic", "*");
        // 4.廣播模式消費(默認負載均衡模式)
        consumer.setMessageModel(MessageModel.BROADCASTING);
        // 5.注冊回調(diào)函數(shù)，處理消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                            ConsumeConcurrentlyContext context) {
                System.out.printf("%s Receive New Messages: %s %n",
                        Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        // 6.啟動消息者
        consumer.start();
    }
}

注意：以下只會將關(guān)鍵的代碼附上，大家閱讀過程中知道以下幾個對象名稱就知道怎么使用了。比如：producer：表示生產(chǎn)者；consumer：表示消費者；message：表示消息。

3. 順序消息

消息有序指的是可以按照消息的發(fā)送順序來消費(FIFO)。RocketMQ可以嚴格的保證消息有序，可以分為分區(qū)有序或者全局有序。

順序消費的原理解析：在默認的情況下消息發(fā)送會采取Round Robin輪詢方式把消息發(fā)送到不同的queue(分區(qū)隊列)，而消費消息的時候從多個queue上拉取消息，這種情況發(fā)送和消費是不能保證順序。但是如果控制發(fā)送的順序消息只依次發(fā)送到同一個queue中，消費的時候只從這個queue上依次拉取，則就保證了順序。當發(fā)送和消費參與的queue只有一個，則是全局有序；如果多個queue參與，則為分區(qū)有序，即相對每個queue，消息都是有序的。

3.1 發(fā)送順序消息

下面演示消息入隊列的片段代碼：

/**
 * 參數(shù)一：消息對象
 * 參數(shù)二：消息隊列選擇器
 * 參數(shù)三：選擇隊列的業(yè)務(wù)標識
 */
SendResult sendResult = producer.send(message, new MessageQueueSelector() {
    /**
     * 消息隊列選擇回調(diào)方法
     * @param mqs 消息隊列集合
     * @param msg 消息
     * @param arg 業(yè)務(wù)標識，也就是order.getId()
     * @return
     */
    @Override
    public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
        Long id = (Long) arg;  //根據(jù)訂單id選擇發(fā)送queue
        long index = id % mqs.size();
        return mqs.get((int) index);
    }
}, order.getId());

3.2 消費順序消息

消費順序消息，RocketMQ會保證每個隊列只有唯一一個consumer線程來消費，這樣就保證了消息的分區(qū)有序。

consumer.registerMessageListener(new MessageListenerOrderly() {
    @Override
    public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
        context.setAutoCommit(true);
        for (MessageExt msg : msgs) {
            // 可以看到每個queue有唯一的consume線程來消費, 訂單對每個queue(分區(qū))有序
            System.out.println("consumeThread=" + Thread.currentThread().getName() + "，queueId=" + msg.getQueueId() + ", content:" + new String(msg.getBody()));
        }
        return ConsumeOrderlyStatus.SUCCESS;
    }
});

4. 延時消息

延時消息通常用于在某個時間段后去投遞并消費消息。比如我們平時買火車票，提交訂單后有半小時的支付時間，此時在提交訂單時就有一條延時消息，半小時后去檢查這個訂單的狀態(tài)，如果還是未付款就取消訂單。

4.1 發(fā)送延時消息

發(fā)送延時消息很簡單，只需要設(shè)置消息對象的延遲級別，比如：

// 設(shè)置消息延遲級別為3，即延遲10s
message.setDelayTimeLevel(3);

默認的延遲級別： 1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h ，共18個級別。

4.2 消費延時消息

消費端不需要做任何的特殊處理，比如：

consumer.registerMessageListener(new MessageListenerConcurrently() {
    @Override
    public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                    ConsumeConcurrentlyContext context) {
        System.out.printf("%s Receive New Messages: %s %n",
                          Thread.currentThread().getName(), msgs);
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    }
});

5. 批量消息

批量發(fā)送消息能顯著提高傳遞小消息的性能。限制是這些批量消息應(yīng)該有相同的topic，相同的waitStoreMsgOK，而且不能是延時消息。此外，默認情況下這一批消息的總大小不應(yīng)超過4MB。

5.1 發(fā)送批量消息

如果我們每次只發(fā)送不超過4MB的消息，則很容易使用批處理，樣例如下：

// 創(chuàng)建消息對象，指定topic、tag和消息體
List<Message> messages = new ArrayList<>();
messages.add(new Message(topic, "TagA", "Hello World 0".getBytes()));
messages.add(new Message(topic, "TagB", "Hello World 1".getBytes()));
messages.add(new Message(topic, "TagC", "Hello World 2".getBytes()));
// 發(fā)送消息
SendResult sendResult = producer.send(messages);
System.out.printf("%s%n", sendResult);

如果消息的總大小可能大于4MB時，最好把消息進行分割：

public class ListSplitter implements Iterator<List<Message>> {
    private final int SIZE_LIMIT = 1024 * 1024 * 4;
    private final List<Message> messages;
    private int currIndex;
    public ListSplitter(List<Message> messages) {
        this.messages = messages;
    }
    @Override
    public boolean hasNext() {
        return currIndex < messages.size();
    }
    @Override
    public List<Message> next() {
        int nextIndex = currIndex;
        int totalSize = 0;
        for (; nextIndex < messages.size(); nextIndex++) {
            Message message = messages.get(nextIndex);
            int tmpSize = message.getTopic().length() + message.getBody().length;
            Map<String, String> properties = message.getProperties();
            for (Map.Entry<String, String> entry : properties.entrySet()) {
                tmpSize += entry.getKey().length() + entry.getValue().length();
            }
            tmpSize = tmpSize + 20; // 增加日志的開銷20字節(jié)
            if (tmpSize > SIZE_LIMIT) {
                //單個消息超過了最大的限制
                //忽略,否則會阻塞分裂的進程
                if (nextIndex - currIndex == 0) {
                    //假如下一個子列表沒有元素,則添加這個子列表然后退出循環(huán),否則只是退出循環(huán)
                    nextIndex++;
                }
                break;
            }
            if (tmpSize + totalSize > SIZE_LIMIT) {
                break;
            } else {
                totalSize += tmpSize;
            }
        }
        List<Message> subList = messages.subList(currIndex, nextIndex);
        currIndex = nextIndex;
        return subList;
    }
}

使用：

//把大的消息分裂成若干個小的消息
ListSplitter splitter = new ListSplitter(messages);
while (splitter.hasNext()) {
  try {
      List<Message>  listItem = splitter.next();
      producer.send(listItem);
  } catch (Exception e) {
      e.printStackTrace();
      //處理error
  }
}

6. 過濾消息

在大多數(shù)情況下，TAG是一個簡單而有用的設(shè)計，其可以來選擇您想要的消息。例如：

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ExampeConsumerGroup");
consumer.subscribe("TOPIC", "TAGA || TAGB || TAGC");

消費者將接收包含TAGA或TAGB或TAGC的消息。但是限制是一個消息只能有一個標簽，這對于復(fù)雜的場景可能不起作用。在這種情況下，可以使用SQL表達式篩選消息。SQL特性可以通過發(fā)送消息時的屬性來進行計算。在RocketMQ定義的語法下，可以實現(xiàn)一些簡單的邏輯。下面是一個例子：

------------
| message  |
|----------|  a > 5 AND b = 'abc'
| a = 10   |  --------------------> Gotten
| b = 'abc'|
| c = true |
------------
------------
| message  |
|----------|   a > 5 AND b = 'abc'
| a = 1    |  --------------------> Missed
| b = 'abc'|
| c = true |
------------

6.1 SQL基本語法

RocketMQ只定義了一些基本語法來支持這個特性。你也可以很容易地擴展它。

數(shù)值比較，比如：>，>=，<，<=，BETWEEN，=；
字符比較，比如：=，<>，IN；
IS NULL 或者 IS NOT NULL；
邏輯符號 AND，OR，NOT；

常量支持類型為：

數(shù)值，比如：123，3.1415；
字符，比如：‘abc’，必須用單引號包裹起來；
NULL，特殊的常量
布爾值，TRUE 或 FALSE

只有使用push模式的消費者才能用使用SQL92標準的sql語句，接口如下：

public void subscribe(finalString topic, final MessageSelector messageSelector)

6.2 消息生產(chǎn)者

發(fā)送消息時，我們可以通過 putUserProperty 來設(shè)置消息的屬性。

for (int i = 0; i < 10; i++) {
    // 創(chuàng)建消息對象，指定topic、tag和消息體
    Message messages = new Message("TestTopic", ("Hello, this is filter msg body! My index is :" + i).getBytes());
    messages.putUserProperty("index", String.valueOf(i));
    // 發(fā)送消息
    SendResult sendResult = producer.send(messages);
    System.out.printf("%s%n", sendResult);
}

6.3 消息消費者

用 MessageSelector.bySql 來使用sql篩選消息。

// 訂閱Topic，且只有訂閱的消息有這個index屬性, index >=0 and index <= 3
consumer.subscribe("TestTopic", MessageSelector.bySql("index between 0 and 3"));

需要注意的是，使用 MessageSelector.bySql 時，需要在 broker.conf 中配置 enablePropertyFilter=true ，否則會報如下錯誤：

# org.apache.rocketmq.broker.processor.ClientManageProcessor.checkClientConfig()
The broker does not support consumer to filter message by SQL92

7. 事務(wù)消息

7.1 流程分析

事務(wù)消息的大致方案，其中分為兩個流程：正常事務(wù)消息的發(fā)送及提交、事務(wù)消息的補償流程。

在這里插入圖片描述

7.1.1 事務(wù)消息發(fā)送及提交

(1) 發(fā)送消息（half消息）。

(2) 服務(wù)端響應(yīng)消息寫入結(jié)果。

(3) 根據(jù)發(fā)送結(jié)果執(zhí)行本地事務(wù)（如果寫入失敗，此時half消息對業(yè)務(wù)不可見，本地邏輯不執(zhí)行）。

(4) 根據(jù)本地事務(wù)狀態(tài)執(zhí)行Commit或者Rollback（Commit操作生成消息索引，消息對消費者可見）。

7.1.2 事務(wù)補償

(1) 對沒有Commit/Rollback的事務(wù)消息（pending狀態(tài)的消息），從服務(wù)端發(fā)起一次“回查”。

(2) Producer收到回查消息，檢查回查消息對應(yīng)的本地事務(wù)的狀態(tài)。

(3) 根據(jù)本地事務(wù)狀態(tài)，重新Commit或者Rollback。

其中，補償階段用于解決消息Commit或者Rollback發(fā)生超時或者失敗的情況。

7.1.3 事務(wù)消息狀態(tài)

事務(wù)消息共有三種狀態(tài)，提交狀態(tài)、回滾狀態(tài)、中間狀態(tài)：

TransactionStatus.CommitTransaction: 提交事務(wù)，它允許消費者消費此消息。
TransactionStatus.RollbackTransaction: 回滾事務(wù)，它代表該消息將被刪除，不允許被消費。
TransactionStatus.Unknown: 中間狀態(tài)，它代表需要檢查消息隊列來確定狀態(tài)。

7.2 發(fā)送事務(wù)消息

7.2.1 創(chuàng)建事務(wù)性生產(chǎn)者

使用 TransactionMQProducer 類創(chuàng)建生產(chǎn)者，并指定唯一的 ProducerGroup ，就可以設(shè)置自定義線程池來處理這些檢查請求。執(zhí)行本地事務(wù)后、需要根據(jù)執(zhí)行結(jié)果對消息隊列進行回復(fù)。

public class TransactionMsgProducer {
    public static void main(String[] args) throws MQClientException, InterruptedException {
        // 1.創(chuàng)建事務(wù)監(jiān)聽器
        TransactionListener transactionListener = new TransactionListenerImpl();
        // 2.創(chuàng)建消息生產(chǎn)者
        TransactionMQProducer producer = new TransactionMQProducer("ExampleProducerGroup");
        producer.setNamesrvAddr("192.168.1.17:9876");
        // 3.設(shè)置事務(wù)監(jiān)聽器
        producer.setTransactionListener(transactionListener);
        // 4.啟動消息生產(chǎn)者
        producer.start();
        String[] tags = new String[]{"TagA", "TagB", "TagC"};
        for (int i = 0; i < 3; i++) {
            try {
                Message msg = new Message("TransactionTopic", tags[i % tags.length], "KEY" + i,
                        ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
                SendResult sendResult = producer.sendMessageInTransaction(msg, null);
                System.out.printf("%s%n", sendResult);
                TimeUnit.SECONDS.sleep(1);
            } catch (MQClientException | UnsupportedEncodingException e) {
                e.printStackTrace();
            }
        }
        // 5.關(guān)閉
        producer.shutdown();
    }
}

7.2.2 實現(xiàn)事務(wù)的監(jiān)聽接口

當發(fā)送半消息成功時，我們使用 executeLocalTransaction 方法來執(zhí)行本地事務(wù)。它返回前一節(jié)中提到的三個事務(wù)狀態(tài)之一。checkLocalTranscation 方法用于檢查本地事務(wù)狀態(tài)，并回應(yīng)消息隊列的檢查請求。它也是返回前一節(jié)中提到的三個事務(wù)狀態(tài)之一。

public class TransactionListenerImpl implements TransactionListener {
    @Override
    public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
        System.out.println("執(zhí)行本地事務(wù)");
        if (StringUtils.equals("TagA", msg.getTags())) {
            return LocalTransactionState.COMMIT_MESSAGE;
        } else if (StringUtils.equals("TagB", msg.getTags())) {
            return LocalTransactionState.ROLLBACK_MESSAGE;
        } else {
            return LocalTransactionState.UNKNOW;
        }
    }
    @Override
    public LocalTransactionState checkLocalTransaction(MessageExt msg) {
        System.out.println("MQ檢查消息Tag【" + msg.getTags() + "】的本地事務(wù)執(zhí)行結(jié)果");
        return LocalTransactionState.COMMIT_MESSAGE;
    }
}

7.2.3 使用限制

事務(wù)消息不支持延時消息和批量消息。
為了避免單個消息被檢查太多次而導(dǎo)致半隊列消息累積，我們默認將單個消息的檢查次數(shù)限制為 15 次，但是用戶可以通過 Broker 配置文件的 transactionCheckMax參數(shù)來修改此限制。如果已經(jīng)檢查某條消息超過N 次的話（ N = transactionCheckMax ）則 Broker 將丟棄此消息，并在默認情況下同時打印錯誤日志。用戶可以通過重寫 AbstractTransactionCheckListener 類來修改這個行為。
事務(wù)消息將在 Broker 配置文件中的參數(shù) transactionMsgTimeout 這樣的特定時間長度之后被檢查。當發(fā)送事務(wù)消息時，用戶還可以通過設(shè)置用戶屬性 CHECK_IMMUNITY_TIME_IN_SECONDS 來改變這個限制，該參數(shù)優(yōu)先于 transactionMsgTimeout 參數(shù)。
事務(wù)性消息可能不止一次被檢查或消費。
提交給用戶的目標主題消息可能會失敗，目前這依日志的記錄而定。它的高可用性通過 RocketMQ 本身的高可用性機制來保證，如果希望確保事務(wù)消息不丟失、并且事務(wù)完整性得到保證，建議使用同步的雙重寫入機制。
事務(wù)消息的生產(chǎn)者 ID 不能與其他類型消息的生產(chǎn)者 ID 共享。與其他類型的消息不同，事務(wù)消息允許反向查詢、MQ服務(wù)器能通過它們的生產(chǎn)者 ID 查詢到消費者。

到此這篇關(guān)于RocketMQ中的消息發(fā)送與消費詳解的文章就介紹到這了,更多相關(guān)RocketMQ消息發(fā)送與消費內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: