通過Java視角簡單談談局部性原理

更新時間：2021年07月13日 14:29:47 作者：幻_

程序的局部性原理是指程序在執(zhí)行時呈現(xiàn)出局部性規(guī)律,即在一段時間內,整個程序的執(zhí)行僅限于程序中的某一部分,這篇文章主要給大家介紹了關于通過Java視角簡單談談局部性原理的相關資料,需要的朋友可以參考下

局部性原理

程序在訪問數(shù)據時，都趨于聚集在一片連續(xù)的區(qū)域中，這被稱為局部性原理。

按時間和空間劃分為兩類：

時間局部性：如果一個數(shù)據正在被訪問，那么近期它很可能再次被訪問。
空間局部性：如果某一個位置的數(shù)據被訪問，那么這個問題附近的數(shù)據很可能被訪問。

針對局部性原理，CPU和操作系統(tǒng)都有具體的實現(xiàn)。

本文主要總結梳理CPU和操作系統(tǒng)的局部性原理在Java后端中的影響與意義。

CPU空間局部性

如下圖是Java的內存模型

我們知道CPU為提高從內存中讀數(shù)據的性能，有L1、L2、L3三個級別的高速緩存。

CPU利用局部性原理，在從內存讀取數(shù)據項到緩存時，將該內存附近的數(shù)據塊也一并讀取到緩存中，這一過程稱為預讀。

即讀取連續(xù)空間的內存要比內存隨機訪問的性能要高，這一點用Java程序可以證明。

public static void main(String[] args) {
        int[][] arr = new int[10000][10000];
        int sum = 0;
        long startTime = System.currentTimeMillis();
        for (int i = 0; i < arr.length; i++) {
            for (int j = 0; j < arr[0].length; j++) {
                sum += arr[i][j];
            }
        }
        System.out.println("數(shù)組順序訪問耗時：" + (System.currentTimeMillis() - startTime) + "ms");
        sum = 0;
        startTime = System.currentTimeMillis();
        for (int i = 0; i < arr.length; i++) {
            for (int j = 0; j < arr[0].length; j++) {
                sum += arr[j][i];
            }
        }
        System.out.println("數(shù)組非順序訪問耗時：" + (System.currentTimeMillis() - startTime) + "ms");
    }

這是一段對二維數(shù)組循環(huán)讀取的代碼。

程序的上半部分是按數(shù)組的第二維開始順序讀取，即二維數(shù)組逐行按內存連續(xù)空間順序訪問。

下半部分則是按數(shù)組的第一維按列讀取，不是順序訪問。

分別經過10000*10000次的數(shù)組訪問后，其運行結果如下：

由此可見，對內存的順序訪問性能優(yōu)于隨機訪問。

磁盤空間局部性

在Java日常開發(fā)中，很多的中間件都需要跟磁盤文件打交道，這些磁盤數(shù)據的高性能訪問也都依托于局部性原理，比如：

MySql的日志文件
MQ消息數(shù)據

我們知道MySql的數(shù)據最終都保存在磁盤中，為減少磁盤IO提高性能，InnoDB引擎底層依托BufferPoll+redo log機制來提高mySql讀寫性能（具體可參考MySql原理總結）。而針對redo log、undo log、binlog的讀寫避免不了磁盤IO，那么這里就利用操作系統(tǒng)的PageCache機制，對磁盤數(shù)據順序讀寫，使得磁盤IO的性能近乎于內存性能。

我們常說kafka和rocketMQ是高性能的消息中間件，其中一部分高性能就依托于對磁盤文件的順序讀寫。比如commit log的順序寫入，kafka中partition、rockerMQ中consumerQueue中消息的順序讀寫。同樣的也是利用操作系統(tǒng)的PageCache機制。

PageCache

頁緩存（PageCache)是OS對文件的緩存，用于加速對文件的讀寫。一般來說，程序對文件進行順序讀寫的速度幾乎接近于內存的讀寫速度，主要原因就是由于OS使用PageCache機制對讀寫訪問操作進行了性能優(yōu)化，將一部分的內存用作PageCache。

對于數(shù)據的寫入，OS會先寫入至Cache內，隨后通過異步的方式由pdflush內核線程將Cache內的數(shù)據刷盤至物理磁盤上。

對于數(shù)據的讀取，如果一次讀取文件時出現(xiàn)未命中PageCache的情況，OS從物理磁盤上訪問讀取文件的同時，會順序對其他相鄰塊的數(shù)據文件進行預讀取。

而PageCache就是局部性原理的實現(xiàn)。