欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Java內(nèi)存映射 大文件輕松處理

 更新時(shí)間:2019年08月15日 08:30:13   作者:沉默王二  
這篇文章主要介紹了Java內(nèi)存映射 大文件輕松處理,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

前言

內(nèi)存映射文件(Memory-mapped File),指的是將一段虛擬內(nèi)存逐字節(jié)映射于一個(gè)文件,使得應(yīng)用程序處理文件如同訪問主內(nèi)存(但在真正使用到這些數(shù)據(jù)前卻不會(huì)消耗物理內(nèi)存,也不會(huì)有讀寫磁盤的操作),這要比直接文件讀寫快幾個(gè)數(shù)量級(jí)。

稍微解釋一下虛擬內(nèi)存(很明顯,不是物理內(nèi)存),它是計(jì)算機(jī)系統(tǒng)內(nèi)存管理的一種技術(shù)。像施了妖法一樣使得應(yīng)用程序認(rèn)為它擁有連續(xù)的可用的內(nèi)存,實(shí)際上呢,它通常是被分隔成多個(gè)物理內(nèi)存的碎片,還有部分暫時(shí)存儲(chǔ)在外部磁盤存儲(chǔ)器上,在需要時(shí)進(jìn)行數(shù)據(jù)交換。

內(nèi)存映射文件主要的用處是增加 I/O 性能,特別是針對(duì)大文件。對(duì)于小文件,內(nèi)存映射文件反而會(huì)導(dǎo)致碎片空間的浪費(fèi),因?yàn)閮?nèi)存映射總是要對(duì)齊頁邊界,最小單位是 4 KiB,一個(gè) 5 KiB 的文件將會(huì)映射占用 8 KiB 內(nèi)存,也就會(huì)浪費(fèi) 3 KiB 內(nèi)存。

java.nio 包使得內(nèi)存映射變得非常簡單,其中的核心類叫做 MappedByteBuffer,字面意思為映射的字節(jié)緩沖區(qū)。

01、使用 MappedByteBuffer 讀取文件

假設(shè)現(xiàn)在有一個(gè)文件,名叫 cmower.txt,里面的內(nèi)容是:

沉默王二,一個(gè)有趣的程序員

PS:哎,改不了王婆賣瓜自賣自夸這個(gè)臭毛病了,因?yàn)槲恼卤槐I得都怕了。

這個(gè)文件放在 /resource 目錄下,我們可以通過下面的方法獲取到它:

ClassLoader classLoader = Cmower.class.getClassLoader();
Path path = Paths.get(classLoader.getResource("cmower.txt").getPath());

Path 既可以表示一個(gè)目錄,也可以表示一個(gè)文件,就像 File 那樣——當(dāng)然了,Path 是用來取代 File 的。

然后,從文件中獲取一個(gè) channel(通道,對(duì)磁盤文件的一種抽象)。

FileChannel fileChannel = FileChannel.open(path);

緊接著,調(diào)用 FileChannel 類的 map 方法從 channel 中獲取 MappedByteBuffer,此類擴(kuò)展了 ByteBuffer——提供了一些內(nèi)存映射文件的基本操作方法。

MappedByteBuffer mappedByteBuffer = fileChannel.map(mode, position, size);

稍微解釋一下 map 方法的三個(gè)參數(shù)。

1)mode 為文件映射模式,分為三種:

  • MapMode.READ_ONLY(只讀),任何試圖修改緩沖區(qū)的操作將導(dǎo)致拋出 ReadOnlyBufferException 異常。
  • MapMode.READ_WRITE(讀/寫),任何對(duì)緩沖區(qū)的更改都會(huì)在某個(gè)時(shí)刻寫入文件中。需要注意的是,其他映射同一個(gè)文件的程序可能不能立即看到這些修改,多個(gè)程序同時(shí)進(jìn)行文件映射的行為依賴于操作系統(tǒng)。
  • MapMode.PRIVATE(私有), 對(duì)緩沖區(qū)的更改不會(huì)被寫入到該文件,任何修改對(duì)這個(gè)緩沖區(qū)來說都是私有的。

2)position 為文件映射時(shí)的起始位置。

3)size 為要映射的區(qū)域的大小,必須是非負(fù)數(shù),不得大于Integer.MAX_VALUE。

一旦把文件映射到內(nèi)存緩沖區(qū),我們就可以把里面的數(shù)據(jù)讀入到 CharBuffer 中并打印出來。具體的代碼示例如下。

CharBuffer charBuffer = null;
ClassLoader classLoader = Cmower.class.getClassLoader();
Path path = Paths.get(classLoader.getResource("cmower.txt").getPath());
try (FileChannel fileChannel = FileChannel.open(path)) {
 MappedByteBuffer mappedByteBuffer = fileChannel.map(MapMode.READ_ONLY, 0, fileChannel.size());

 if (mappedByteBuffer != null) {
  charBuffer = Charset.forName("UTF-8").decode(mappedByteBuffer);
 }

 System.out.println(charBuffer.toString());
} catch (IOException e) {
 e.printStackTrace();
}

由于 decode() 方法的參數(shù)是 MappedByteBuffer,這就意味著我們是從內(nèi)存中而不是磁盤中讀入的文件內(nèi)容,所以速度會(huì)非??臁?/p>

02、使用 MappedByteBuffer 寫入文件

假設(shè)現(xiàn)在要把下面的內(nèi)容寫入到一個(gè)文件,名叫 cmower1.txt。

沉默王二,《Web全棧開發(fā)進(jìn)階之路》作者

這個(gè)文件還沒有創(chuàng)建,計(jì)劃放在項(xiàng)目的 classpath 目錄下。

Path path = Paths.get("cmower1.txt");

具體位置見下圖所示。

然后,創(chuàng)建文件的通道。

FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.READ, StandardOpenOption.WRITE,
    StandardOpenOption.TRUNCATE_EXISTING)

仍然使用的 open 方法,不過增加了 3 個(gè)參數(shù),前 2 個(gè)很好理解,表示文件可讀(READ)、可寫(WRITE);第 3 個(gè)參數(shù) TRUNCATE_EXISTING 的意思是如果文件已經(jīng)存在,并且文件已經(jīng)打開將要進(jìn)行 WRITE 操作,則其長度被截?cái)酁?0。

緊接著,仍然調(diào)用 FileChannel 類的 map 方法從 channel 中獲取 MappedByteBuffer。

 MappedByteBuffer mappedByteBuffer = fileChannel.map(MapMode.READ_WRITE, 0, 1024);

這一次,我們把模式調(diào)整為 MapMode.READ_WRITE,并且指定文件大小為 1024,即 1KB 的大小。然后使用 MappedByteBuffer 中的 put() 方法將 CharBuffer 的內(nèi)容保存到文件中。具體的代碼示例如下。

CharBuffer charBuffer = CharBuffer.wrap("沉默王二,《Web全棧開發(fā)進(jìn)階之路》作者");
Path path = Paths.get("cmower1.txt");
try (FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.READ, StandardOpenOption.WRITE,
  StandardOpenOption.TRUNCATE_EXISTING)) {
 MappedByteBuffer mappedByteBuffer = fileChannel.map(MapMode.READ_WRITE, 0, 1024);

 if (mappedByteBuffer != null) {
  mappedByteBuffer.put(Charset.forName("UTF-8").encode(charBuffer));
 }

} catch (IOException e) {
 e.printStackTrace();
}

可以打開 cmower1.txt 查看一下內(nèi)容,確認(rèn)預(yù)期的內(nèi)容有沒有寫入成功。

03、MappedByteBuffer 的遺憾

據(jù)說,在 Java 中使用 MappedByteBuffer 是一件非常麻煩并且痛苦的事,主要表現(xiàn)有:

1)一次 map 的大小最好限制在 1.5G 左右,重復(fù) map 會(huì)增加虛擬內(nèi)存回收和重新分配的壓力。也就是說,如果文件大小不確定的話,就不太友好。

2)虛擬內(nèi)存由操作系統(tǒng)來決定什么時(shí)候刷新到磁盤,這個(gè)時(shí)間不太容易被程序控制。

3)MappedByteBuffer 的回收方式比較詭異。

再次強(qiáng)調(diào),這三種說法都是據(jù)說,我暫時(shí)能力有限,也不能確定這種說法的準(zhǔn)確性,很遺憾。

04、比較文件操作的處理時(shí)間

嗨,朋友,閱讀完以上的內(nèi)容之后,我想你一定對(duì)內(nèi)存映射文件有了大致的了解。但我相信,如果你是一名負(fù)責(zé)任的程序員,你一定還想知道:內(nèi)存映射文件的讀取速度究竟有多快。

為了得出結(jié)論,我叫了另外三名競賽的選手:InputStream(普通輸入流)、BufferedInputStream(帶緩沖的輸入流)、RandomAccessFile(隨機(jī)訪問文件)。

讀取的對(duì)象是加勒比海盜4驚濤怪浪.mkv,大小為 1.71G。

1)普通輸入流

public static void inputStream(Path filename) {
 try (InputStream is = Files.newInputStream(filename)) {
  int c;
  while((c = is.read()) != -1) {
  }
 } catch (IOException e) {
  e.printStackTrace();
 }
}

2)帶緩沖的輸入流

public static void bufferedInputStream(Path filename) {
 try (InputStream is = new BufferedInputStream(Files.newInputStream(filename))) {
  int c;
  while((c = is.read()) != -1) {
  }
 } catch (IOException e) {
  e.printStackTrace();
 }
}

3)隨機(jī)訪問文件

public static void randomAccessFile(Path filename) {
 try (RandomAccessFile randomAccessFile = new RandomAccessFile(filename.toFile(), "r")) {
  for (long i = 0; i < randomAccessFile.length(); i++) {
   randomAccessFile.seek(i);
  }
 } catch (IOException e) {
  e.printStackTrace();
 }
}

4)內(nèi)存映射文件

public static void mappedFile(Path filename) {
 try (FileChannel fileChannel = FileChannel.open(filename)) {
  long size = fileChannel.size();
  MappedByteBuffer mappedByteBuffer = fileChannel.map(MapMode.READ_ONLY, 0, size);
  for (int i = 0; i < size; i++) {
   mappedByteBuffer.get(i);
  }
 } catch (IOException e) {
  e.printStackTrace();
 }
}

測試程序也很簡單,大致如下:

long start = System.currentTimeMillis();
bufferedInputStream(Paths.get("jialebi.mkv"));
long end = System.currentTimeMillis();
System.out.println(end-start);

四名選手的結(jié)果如下表所示。

方法 時(shí)間
普通輸入流 龜速,沒有耐心等出結(jié)果
隨機(jī)訪問文件 龜速,沒有耐心等下去
帶緩沖的輸入流 29966
內(nèi)存映射文件 914

普通輸入流和隨機(jī)訪問文件都慢得要命,真的是龜速,我沒有耐心等待出結(jié)果;帶緩沖的輸入流的表現(xiàn)還不錯(cuò),但相比內(nèi)存映射文件就遜色多了。由此得出的結(jié)論就是:內(nèi)存映射文件,上G大文件輕松處理。

05、最后

本篇文章主要介紹了 Java 的內(nèi)存映射文件,MappedByteBuffer 是其靈魂,讀取速度快如火箭。另外,所有這些示例和代碼片段都可以在 GitHub 上找到——這是一個(gè) Maven 項(xiàng)目,所以它很容易導(dǎo)入和運(yùn)行。

以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • SpringBoot集成消息隊(duì)列的項(xiàng)目實(shí)踐

    SpringBoot集成消息隊(duì)列的項(xiàng)目實(shí)踐

    本文主要介紹了SpringBoot集成消息隊(duì)列的項(xiàng)目實(shí)踐,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2024-02-02
  • Java實(shí)現(xiàn)本地文件批量重命名的示例代碼

    Java實(shí)現(xiàn)本地文件批量重命名的示例代碼

    本文主要介紹了Java實(shí)現(xiàn)本地文件批量重命名的示例代碼,主要步驟為獲取指定目錄下的所有文件,對(duì)每個(gè)文件進(jìn)行修改,將修改后的文件名賦給該文件,具有一定的參考價(jià)值,感興趣的可以了解一下
    2023-10-10
  • SpringBoot項(xiàng)目開發(fā)常用技術(shù)整合

    SpringBoot項(xiàng)目開發(fā)常用技術(shù)整合

    今天給大家分享springboot項(xiàng)目開發(fā)常用技術(shù)整合,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧
    2021-08-08
  • springboot配置nacos的實(shí)現(xiàn)示例

    springboot配置nacos的實(shí)現(xiàn)示例

    本文將介紹如何在Spring?Boot中配置Nacos,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-09-09
  • SpringBoot整合ip2region實(shí)現(xiàn)使用ip監(jiān)控用戶訪問城市的詳細(xì)過程

    SpringBoot整合ip2region實(shí)現(xiàn)使用ip監(jiān)控用戶訪問城市的詳細(xì)過程

    這篇文章主要介紹了SpringBoot整合ip2region實(shí)現(xiàn)使用ip監(jiān)控用戶訪問城市,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2022-07-07
  • Jmeter參數(shù)化獲取序列數(shù)據(jù)實(shí)現(xiàn)過程

    Jmeter參數(shù)化獲取序列數(shù)據(jù)實(shí)現(xiàn)過程

    這篇文章主要介紹了Jmeter參數(shù)化獲取序列數(shù)據(jù)實(shí)現(xiàn)過程,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-07-07
  • IDEA社區(qū)版下載安裝流程詳解(小白篇)

    IDEA社區(qū)版下載安裝流程詳解(小白篇)

    這篇文章主要介紹了IDEA社區(qū)版下載安裝流程詳解(小白篇),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • 最新評(píng)論