面試題1：說說你對消息隊列的理解，消息隊列為了解決什么問題？

我們公司業(yè)務(wù)系統(tǒng)一開始體量較小，很多組件都是單機版就足夠，后來隨著用戶量逐漸擴大，我們程序也采用了微服務(wù)的設(shè)計思想，把很多服務(wù)進行了拆分，但后來在一些秒殺搶票活動或高頻業(yè)務(wù)中，服務(wù)依舊扛不住大量QPS，因此我們引入了消息隊列來優(yōu)化該類問題。

消息隊列應(yīng)用的場景大致分為三類：解耦、異步、削峰。

解耦

消息隊列類似設(shè)計模式中的觀察者模式（Observer）或發(fā)布-訂閱模式（Pub-Sub）。生產(chǎn)者生成和發(fā)送消息到消息隊列，消費者從消息隊列中取走消息進行處理，稱為消費，使用消息隊列將“生產(chǎn)者”和“消費者”之間的操作關(guān)聯(lián)解耦，易于擴展。

比如系統(tǒng)A為支付系統(tǒng)，一開始用戶支付完調(diào)用日志記錄系統(tǒng)B記錄就完了，后來內(nèi)容越來越多，支付完成要調(diào)用加積分系統(tǒng)C、短信通知系統(tǒng)D、優(yōu)惠券系統(tǒng)E等等…

這個場景中，A 系統(tǒng)跟其它各種亂七八糟的系統(tǒng)嚴重耦合，A 系統(tǒng)產(chǎn)生一條支付成功的數(shù)據(jù)，很多系統(tǒng)接口都需要 A 系統(tǒng)調(diào)用把支付成功的數(shù)據(jù)發(fā)送過去。A 系統(tǒng)程序員要時刻考慮這些問題：

• 其他系統(tǒng)如果掛了該咋辦？是不是直接程序拋異常了？
• 一天到晚加業(yè)務(wù)，每次都重新部署？領(lǐng)導是不是狗？

那如果引入 MQ，A 系統(tǒng)產(chǎn)生一條數(shù)據(jù)，發(fā)送到 MQ 里面去，每個子系統(tǒng)加上對消息隊列中支付成功消息的訂閱，持續(xù)監(jiān)聽就可以了，哪個系統(tǒng)需要數(shù)據(jù)自己去 MQ 里面消費。如果新系統(tǒng)需要數(shù)據(jù)，直接從 MQ 里消費即可；如果某個系統(tǒng)不需要這條數(shù)據(jù)了，就取消對 MQ 消息的消費即可。

這樣下來，A系統(tǒng)壓根兒不需要去考慮要給誰發(fā)送數(shù)據(jù)，不需要維護這個代碼，也不需要考慮人家是否調(diào)用成功、失敗超時等情況，我只負責把支付成功的信息放到MQ里就行了，至于能否正常加積分、能否正常短信通知，管我鳥事！~~可見，通過一個 MQ，Pub/Sub 發(fā)布訂閱消息這么一個模型，A 系統(tǒng)就跟其它系統(tǒng)徹底解耦了。

面試官：哦，那我聽出來了，你這是喜歡甩鍋?。?，簡歷還你。

我：額。。不，我開玩笑的，當然不能這樣做，這里其實涉及到MQ在分布式事務(wù)中數(shù)據(jù)一致性的問題；聽我跟您解釋。

數(shù)據(jù)一致性

這個其實是分布式服務(wù)本身就存在的一個問題，不僅僅是消息隊列的問題，但是放在這里說是因為用了消息隊列這個問題會更明顯。

就像咱們上面說的，你支付成功的服務(wù)自己保證自己的邏輯成功處理了，你成功發(fā)了消息，但是短信系統(tǒng)，積分系統(tǒng)等等這么多系統(tǒng)，他們成功還是失敗你就不管了？當然不行，這樣坑隊友的行為，狄大人都幫不了你~

怎么辦？那就把所有的服務(wù)都放到一個事務(wù)里，所有都成功成功才能算這一次下單是成功的，要成功一起成功，要失敗一起失敗。

異步

A 系統(tǒng)接收一個請求，需要在自己本地寫庫，還需要在 BCD 三個系統(tǒng)寫庫，自己本地寫庫要 3ms，BCD 三個系統(tǒng)分別寫庫要 300ms、400ms、200ms。最終請求總延時是 3 + 300 + 400 + 200 = 903ms，接近 1秒，用戶感覺搞個毛線？慢的一批。

一般互聯(lián)網(wǎng)類的企業(yè)，對于用戶直接的操作，一般要求是每個請求都必須在 200 ms 以內(nèi)完成，對用戶幾乎是無感知的，如果1秒足以說明該系統(tǒng)不可用，垃圾系統(tǒng)。

如果這里使用了消息隊列，那么 A 系統(tǒng)連續(xù)發(fā)送 3 條消息到 MQ 隊列中，假如耗時 5ms，A 系統(tǒng)從接受一個請求到返回響應(yīng)給用戶，總時長是 3 + 5 = 8ms，對于用戶而言，其實感覺上就是點個按鈕，8ms 以后就直接返回了，體驗感很好

削峰

比如我們系統(tǒng)有代售搶票業(yè)務(wù)，平時每天QPS也就50左右，A 系統(tǒng)風平浪靜。結(jié)果每次一到春運搶票，每秒并發(fā)請求數(shù)量突然會暴增到10000以上。但是系統(tǒng)是直接基于 MySQL 的，大量的請求直接打到 MySQL，比如一般MySQL能抗2000條請求，現(xiàn)在每秒10000 條 SQL，可能就直接把 MySQL 給打死了，導致系統(tǒng)崩潰。但是高峰期一過就又沒人了，QPS回到50，對整個系統(tǒng)幾乎沒有任何的壓力。

如果這里使用 MQ，每秒 1w 個請求寫入 MQ，A 系統(tǒng)每秒鐘最多處理 2000 個請求，因為 MySQL 每秒鐘最多處理 2k 個。A 系統(tǒng)從 MQ 中慢慢拉取請求，每秒鐘就拉取 2k 個請求，不要超過自己每秒能處理的最大請求數(shù)量就 ok了，這樣下來，哪怕是高峰期的時候，A 系統(tǒng)也不會掛掉。當然了，用戶的響應(yīng)時間肯定會受影響，畢竟秒殺嘛，只要把前多少條請求處理好，其余的搶票失敗就行了。

另外，MQ 每秒鐘 1w 個請求進來，只處理 2k 個請求出去，結(jié)果會導致在中午高峰期，可能有幾十萬甚至幾百萬的請求積壓在 MQ 中。

這個短暫的高峰期積壓是 ok 的，因為高峰期過了之后，每秒鐘就 50 個請求進 MQ，但是A 系統(tǒng)依然會按照每秒 2k 個請求的速度在處理。所以說，只要高峰期一過，A 系統(tǒng)就會快速將積壓的消息給消費掉。

追問1：消息隊列有什么優(yōu)缺點

• 系統(tǒng)可用性降低

系統(tǒng)引入的外部依賴越多，越容易掛掉。本來你就是 A 系統(tǒng)調(diào)用 BCD 三個系統(tǒng)的接口就好了，人 ABCD 四個系統(tǒng)好好的，沒啥問題，你偏加個 MQ 進來，萬一 MQ 掛了咋整，MQ 一掛，整套系統(tǒng)崩潰的，你不就完了？如何保證消息隊列的高可用？

• 系統(tǒng)復雜度提高

硬生生加個 MQ 進來，你怎么保證消息一定被消費？如何避免消息重復投遞或重復消費？數(shù)據(jù)丟失怎么辦？怎么保證消息傳遞的順序性？

• 一致性問題

A 系統(tǒng)處理完了直接返回成功了，人都以為你這個請求就成功了；但是問題是，要是 BCD 三個系統(tǒng)那里，BD 兩個系統(tǒng)寫庫成功了，結(jié)果 C 系統(tǒng)寫庫失敗了，咋整？你這數(shù)據(jù)就不一致了。

面試題2：對于消息中間機，你們是怎么做技術(shù)選型的？

目前市面上比較主流的消息隊列中間件主要有，Kafka、ActiveMQ、RabbitMQ、RocketMQ 等。

ActiveMQ和RabbitMQ這兩由于吞吐量的原因，只有業(yè)務(wù)體量一般的公司在用，RabbitMQ由于是erlang語言開發(fā)的，我們都不了解，因此擴展和維護成本都很高，查個問題都頭疼。

Kafka和RocketMQ一直在各自擅長的領(lǐng)域發(fā)光發(fā)亮，兩者的吞吐量、可靠性、時效性等都很可觀。

我們通過圖表看看這幾個消息中間機的對比：

大家其實一下子就能看到差距了，就拿吞吐量來說，早期比較活躍的ActiveMQ 和RabbitMQ基本上不是后兩者的對手了，在現(xiàn)在這樣大數(shù)據(jù)的年代吞吐量是真的很重要。

面試題3：如何確保消息正確地發(fā)送至 RabbitMQ？如何確保消息接收方消費了消息？

發(fā)送方確認模式

將信道設(shè)置成confirm模式（發(fā)送方確認模式），則所有在信道上發(fā)布的消息都會被指派一個唯一的ID。

一旦消息被投遞到目的隊列后，或者消息被寫入磁盤后（可持久化的消息），信道會發(fā)送一個確認給生產(chǎn)者（包含消息唯一ID）。

如果RabbitMQ發(fā)生內(nèi)部錯誤從而導致消息丟失，會發(fā)送一條Nack（not acknowledged，未確認）消息。

發(fā)送方確認模式是異步的，生產(chǎn)者應(yīng)用程序在等待確認的同時，可以繼續(xù)發(fā)送消息。當確認消息到達生產(chǎn)者應(yīng)用程序，生產(chǎn)者應(yīng)用程序的回調(diào)方法就會被觸發(fā)來處理確認消息。

接收方確認機制

消費者接收每一條消息后都必須進行確認（消息接收和消息確認是兩個不同操作）。只有消費者確認了消息，RabbitMQ才能安全地把消息從隊列中刪除。

這里并沒有用到超時機制，RabbitMQ僅通過Consumer的連接中斷來確認是否需要重新發(fā)送消息。也就是說，只要連接不中斷，RabbitMQ給了Consumer足夠長的時間來處理消息。保證數(shù)據(jù)的最終一致性；

追問1：如何保證MQ消息的可靠傳輸？

以我們常用的RabbitMQ為例，消息不可靠的情況可能是消息丟失，劫持等原因；

丟失又分為：生產(chǎn)者丟失消息、消息隊列丟失消息、消費者丟失消息；

生產(chǎn)者丟失消息：從生產(chǎn)者弄丟數(shù)據(jù)這個角度來看，RabbitMQ提供confirm模式來確保生產(chǎn)者不丟消息；

confirm模式用的居多：一旦channel進入confirm模式，所有在該信道上發(fā)布的消息都將會被指派一個唯一的ID（從1開始），一旦消息被投遞到所有匹配的隊列之后；RabbitMQ就會發(fā)送一個ACK給生產(chǎn)者（包含消息的唯一ID），這就使得生產(chǎn)者知道消息已經(jīng)正確到達目的隊列了；

如果rabbitMQ沒能處理該消息，則會發(fā)送一個Nack消息給你，你可以進行重試操作。

消息隊列丟數(shù)據(jù)：消息持久化。

處理消息隊列丟數(shù)據(jù)的情況，一般是開啟持久化磁盤的配置。

持久化配置和confirm機制配合使用，在消息持久化磁盤后，再給生產(chǎn)者發(fā)送一個Ack信號。

這樣，如果消息持久化磁盤之前，rabbitMQ陣亡了，那么生產(chǎn)者收不到Ack信號，生產(chǎn)者會自動重發(fā)。

總結(jié)

本篇文章就到這里了，希望能給你帶來幫助，也希望您關(guān)注腳本之家的更多內(nèi)容！

最新評論