Java中的Kafka為什么性能這么快及4大核心詳析
Kafka的性能快這是大廠Java面試經(jīng)常問的一個(gè)話題，下面我就重點(diǎn)講解Kafka為什么性能這么快的4大核心原因
1、頁(yè)緩存技術(shù)
Kafka 是基于操作系統(tǒng) 的頁(yè)緩存(page cache)來實(shí)現(xiàn)文件寫入的，我們也可以稱之為 os cache，意思就是操作系統(tǒng)自己管理的緩存。
Kafka 在寫入磁盤文件的時(shí)候，可以直接寫入這個(gè) os cache 里，也就是僅僅寫入內(nèi)存中，接下來由操作系統(tǒng)自己決定什么時(shí)候把 os cache 里的數(shù)據(jù)真的刷入磁盤文件中。
通過這一個(gè)步驟，就可以將磁盤文件寫性能提升很多了，因?yàn)槠鋵?shí)這里相當(dāng)于是在寫內(nèi)存，不是在寫磁盤，原理圖如下：
2、磁盤順序?qū)?/h2>
另一個(gè)主要功能是 kafka 寫數(shù)據(jù)的時(shí)候，是以磁盤順序?qū)懙姆绞絹韺懙?，也就是說僅僅將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來修改數(shù)據(jù)。
為什么要采用磁盤順序?qū)懀?/strong>
完成一次磁盤 IO，需要經(jīng)過尋道、旋轉(zhuǎn)和數(shù)據(jù)傳輸三個(gè)步驟：
- 尋道（時(shí)間）：磁頭移動(dòng)定位到指定磁道;
- 旋轉(zhuǎn)延遲（時(shí)間）：等待指定扇區(qū)從磁頭下旋轉(zhuǎn)經(jīng)過；
- 數(shù)據(jù)傳輸（時(shí)間）：數(shù)據(jù)在磁盤、內(nèi)存與網(wǎng)絡(luò)之間的實(shí)際傳輸。
首先必須找到柱面，即磁頭需要移動(dòng)對(duì)準(zhǔn)相應(yīng)磁道，這個(gè)過程叫做尋道，所耗費(fèi)時(shí)間叫做尋道時(shí)間，然后目標(biāo)扇區(qū)旋轉(zhuǎn)到磁頭下,這個(gè)過程耗費(fèi)的時(shí)間叫做旋轉(zhuǎn)時(shí)間。
怎么樣才能提高磁盤的讀寫效率呢?
即采用磁盤順序?qū)?，這樣就不需要尋道時(shí)間，只需很少的旋轉(zhuǎn)時(shí)間，將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來修改數(shù)據(jù)。
基于上面兩點(diǎn)，kafka 就實(shí)現(xiàn)了寫入數(shù)據(jù)的超高性能。
3、零拷貝
先來看看非零拷貝的情況，如下圖所示：
可以看到數(shù)據(jù)的拷貝從內(nèi)存拷貝到 Kafka 服務(wù)進(jìn)程那塊，又拷貝到 Socket 緩存那塊，整個(gè)過程耗費(fèi)的時(shí)間比較高。
Kafka 利用了 Linux 的 sendFile 技術(shù)（NIO），省去了進(jìn)程切換和一次數(shù)據(jù)拷貝，讓性能變得更好，
如下圖所示：
通過 零拷貝技術(shù)，就不需要把 os cache 里的數(shù)據(jù)拷貝到應(yīng)用緩存，再?gòu)膽?yīng)用緩存拷貝到 Socket 緩存了，兩次拷貝都省略了，所以叫做零拷貝。
4、分區(qū)分段+索引
Kafka 的 message 是按 topic分 類存儲(chǔ)的，topic 中的數(shù)據(jù)又是按照一個(gè)一個(gè)的 partition 即分區(qū)存儲(chǔ)到不同 broker 節(jié)點(diǎn)。每個(gè) partition 對(duì)應(yīng)了操作系統(tǒng)上的一個(gè)文件夾，partition 實(shí)際上又是按照segment分段存儲(chǔ)的。
通過這種分區(qū)分段的設(shè)計(jì)，Kafka 的 message 消息實(shí)際上是分布式存儲(chǔ)在一個(gè)一個(gè)小的 segment 中的，每次文件操作也是直接操作的 segment。為了進(jìn)一步的查詢優(yōu)化，Kafka 又默認(rèn)為分段后的數(shù)據(jù)文件建立了索引文件，就是文件系統(tǒng)上的.index文件。這種分區(qū)分段+索引的設(shè)計(jì)，不僅提升了數(shù)據(jù)讀取的效率，同時(shí)也提高了數(shù)據(jù)操作的并行度。
到此這篇關(guān)于Java中的Kafka為什么性能這么快及4大核心詳析的文章就介紹到這了,更多相關(guān)Java Kafka內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Java?中的?clone(?)?和?new哪個(gè)效率更高
很多朋友不太清楚clone（）和new那個(gè)更快？針對(duì)這個(gè)問題我百度了好多資料，最終小編總結(jié)下關(guān)于Java?中的?clone(?)?和?new哪個(gè)效率更高的問題，感興趣的朋友跟隨小編一起看看吧2021-12-12
mybatis/mybatis-plus模糊查詢語(yǔ)句特殊字符轉(zhuǎn)義攔截器的實(shí)現(xiàn)
在開發(fā)中，我們通常會(huì)遇到這樣的情況。用戶在錄入信息是錄入了‘%’，而在查詢時(shí)無(wú)法精確匹配‘%’。究其原因，‘%’是MySQL的關(guān)鍵字，如果我們想要精確匹配‘%’，那么需要對(duì)其進(jìn)行轉(zhuǎn)義，本文就詳細(xì)的介紹一下2021-11-11
Java動(dòng)態(tài)腳本Groovy獲取Bean技巧
這篇文章主要給大家分享的是Java動(dòng)態(tài)腳本Groovy獲取Bean技巧，在Java代碼中當(dāng)我們需要一個(gè)Bean對(duì)象，通常會(huì)使用spring中@Autowired注解，用來自動(dòng)裝配對(duì)象。下面我們一起進(jìn)入文章學(xué)習(xí)個(gè)表格多 詳細(xì)內(nèi)容吧2021-12-12
這篇文章主要介紹了java 對(duì)稱二叉樹的判斷，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Java 實(shí)戰(zhàn)項(xiàng)目錘煉之在線美食網(wǎng)站系統(tǒng)的實(shí)現(xiàn)流程
讀萬(wàn)卷書不如行萬(wàn)里路，只學(xué)書上的理論是遠(yuǎn)遠(yuǎn)不夠的，只有在實(shí)戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用java+SSM+jsp+mysql+maven實(shí)現(xiàn)一個(gè)在線美食網(wǎng)站系統(tǒng),大家可以在過程中查缺補(bǔ)漏，提升水平2021-11-11
這篇文章主要為大家詳細(xì)介紹了java中File類應(yīng)用遍歷文件夾下所有文件，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-08-08
今天我們來學(xué)習(xí)一下Java ThreadPoolExecutor的使用,文中有非常詳細(xì)的介紹及代碼示例,對(duì)正在學(xué)習(xí)Java的小伙伴們有很大的幫助,需要的朋友可以參考下2021-05-05
在本篇文章里小編給大家整理了一篇關(guān)于java中g(shù)c算法實(shí)例用法，有興趣的朋友們可以參考學(xué)習(xí)下。2021-01-01
這篇文章主要介紹了Kryo框架的相關(guān)內(nèi)容，文中向大家分享了Kryo框架使用方法代碼示例，小編覺得挺不錯(cuò)的，希望能給大家一個(gè)參考。2017-10-10
ScheduledThreadPoolExecutor巨坑解決
這篇文章主要為大家介紹了使用ScheduledThreadPoolExecutor遇到的巨坑解決示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-02-02