欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Java NIO 文件通道 FileChannel 用法及原理

 更新時間:2021年01月13日 14:28:09   作者:Robothy  
這篇文章主要介紹了Java NIO 文件通道 FileChannel 用法和原理,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下

FileChannel 提供了一種通過通道來訪問文件的方式,它可以通過帶參數(shù) position(int) 方法定位到文件的任意位置開始進行操作,還能夠將文件映射到直接內存,提高大文件的訪問效率。本文將介紹其詳細用法和原理。

1. 通道獲取

FileChannel 可以通過 FileInputStream, FileOutputStream, RandomAccessFile 的對象中的 getChannel() 方法來獲取,也可以同通過靜態(tài)方法 FileChannel.open(Path, OpenOption ...) 來打開。

1.1 從 FileInputStream / FileOutputStream 中獲取

從 FileInputStream 對象中獲取的通道是以讀的方式打開文件,從 FileOutpuStream 對象中獲取的通道是以寫的方式打開文件。

FileOutputStream ous = new FileOutputStream(new File("a.txt"));
FileChannel out = ous.getChannel(); // 獲取一個只讀通道
FileInputStream ins = new FileInputStream(new File("a.txt"));
FileChannel in = ins.getChannel(); // 獲取一個只寫通道

1.2 從 RandomAccessFile 中獲取

從 RandomAccessFaile 中獲取的通道取決于 RandomAccessFaile 對象是以什么方式創(chuàng)建的,"r", "w", "rw" 分別對應著讀模式,寫模式,以及讀寫模式。

RandomAccessFile file = new RandomAccessFile("a.txt", "rw");
FileChannel channel = file.getChannel(); // 獲取一個可讀寫文件通道

1.3 通過 FileChannel.open() 打開

通過靜態(tài)靜態(tài)方法 FileChannel.open() 打開的通道可以指定打開模式,模式通過 StandardOpenOption 枚舉類型指定。

FileChannel channel = FileChannel.open(Paths.get("a.txt"), StandardOpenOption.READ); // 以只讀的方式打開一個文件 a.txt 的通道

2. 讀取數(shù)據(jù)

讀取數(shù)據(jù)的 read(ByteBuffer buf) 方法返回的值表示讀取到的字節(jié)數(shù),如果讀到了文件末尾,返回值為 -1。讀取數(shù)據(jù)時,position 會往后移動。

2.1 將數(shù)據(jù)讀取到單個緩沖區(qū)

和一般通道的操作一樣,數(shù)據(jù)也是需要讀取到1個緩沖區(qū)中,然后從緩沖區(qū)取出數(shù)據(jù)。在調用 read 方法讀取數(shù)據(jù)的時候,可以傳入?yún)?shù) position 和 length 來指定開始讀取的位置和長度。

FileChannel channel = FileChannel.open(Paths.get("a.txt"), StandardOpenOption.READ);
ByteBuffer buf = ByteBuffer.allocate(5);
while(channel.read(buf)!=-1){
 buf.flip();
 System.out.print(new String(buf.array()));
 buf.clear();
}
channel.close();

2.2 讀取到多個緩沖區(qū)

文件通道 FileChannel 實現(xiàn)了 ScatteringByteChannel 接口,可以將文件通道中的內容同時讀取到多個 ByteBuffer 當中,這在處理包含若干長度固定數(shù)據(jù)塊的文件時很有用。

ScatteringByteChannel channel = FileChannel.open(Paths.get("a.txt"), StandardOpenOption.READ);
ByteBuffer key = ByteBuffer.allocate(5), value=ByteBuffer.allocate(10);
ByteBuffer[] buffers = new ByteBuffer[]{key, value};
while(channel.read(buffers)!=-1){
 key.flip();
 value.flip();
 System.out.println(new String(key.array()));
 System.out.println(new String(value.array()));
 key.clear();
 value.clear();
}
channel.close();

3. 寫入數(shù)據(jù)

3.1 從單個緩沖區(qū)寫入

單個緩沖區(qū)操作也非常簡單,它返回往通道中寫入的字節(jié)數(shù)。

FileChannel channel = FileChannel.open(Paths.get("a.txt"), StandardOpenOption.WRITE);
ByteBuffer buf = ByteBuffer.allocate(5);
byte[] data = "Hello, Java NIO.".getBytes();
for (int i = 0; i < data.length; ) {
 buf.put(data, i, Math.min(data.length - i, buf.limit() - buf.position()));
 buf.flip();
 i += channel.write(buf);
 buf.compact();
}
channel.force(false);
channel.close();

3.2 從多個緩沖區(qū)寫入

FileChannel 實現(xiàn)了 GatherringByteChannel 接口,與 ScatteringByteChannel 相呼應??梢砸淮涡詫⒍鄠€緩沖區(qū)的數(shù)據(jù)寫入到通道中。

FileChannel channel = FileChannel.open(Paths.get("a.txt"), StandardOpenOption.WRITE);
ByteBuffer key = ByteBuffer.allocate(10), value = ByteBuffer.allocate(10);
byte[] data = "017 Robothy".getBytes();
key.put(data, 0, 3);
value.put(data, 4, data.length-4);
ByteBuffer[] buffers = new ByteBuffer[]{key, value};
key.flip();
value.flip();
channel.write(buffers);
channel.force(false); // 將數(shù)據(jù)刷出到磁盤
channel.close();

3.3 數(shù)據(jù)刷出

為了減少訪問磁盤的次數(shù),通過文件通道對文件進行操作之后可能不會立即刷出到磁盤,此時如果系統(tǒng)崩潰,將導致數(shù)據(jù)的丟失。為了減少這種風險,在進行了重要數(shù)據(jù)的操作之后應該調用 force() 方法強制將數(shù)據(jù)刷出到磁盤。

無論是否對文件進行過修改操作,即使文件通道是以只讀模式打開的,只要調用了 force(metaData) 方法,就會進行一次 I/O 操作。參數(shù) metaData 指定是否將元數(shù)據(jù)(例如:訪問時間)也刷出到磁盤。

channel.force(false); // 將數(shù)據(jù)刷出到磁盤,但不包括元數(shù)據(jù)

4. 文件鎖

可以通過調用 FileChannel 的 lock() 或者 tryLock() 方法來獲得一個文件鎖,獲取鎖的時候可以指定參數(shù)起始位置 position,鎖定大小 size,是否共享 shared。如果沒有指定參數(shù),默認參數(shù)為 position = 0, size = Long.MAX_VALUE, shared = false。

位置 position 和大小 size 不需要嚴格與文件保持一致,position 和 size 均可以超過文件的大小范圍。例如:文件大小為 100,可以指定位置為 200, 大小為 50;則當文件大小擴展到 250 時,[200,250) 的部分會被鎖住。

shared 參數(shù)指定是排他的還是共享的。要獲取共享鎖,文件通道必須是可讀的;要獲取排他鎖,文件通道必須是可寫的。

由于 Java 的文件鎖直接映射為操作系統(tǒng)的文件鎖實現(xiàn),因此獲取文件鎖時代表的是整個虛擬機,而非當前線程。若操作系統(tǒng)不支持共享的文件鎖,即使指定了文件鎖是共享的,也會被轉化為排他鎖。

FileLock lock = channel.lock(0, Long.MAX_VALUE, false);// 排它鎖,此時同一操作系統(tǒng)下的其它進程不能訪問 a.txt
System.out.println("Channel locked in exclusive mode.");
Thread.sleep(30 * 1000L); // 鎖住 30 s
lock.release(); // 釋放鎖

lock = channel.lock(0, Long.MAX_VALUE, true); // 共享鎖,此時文件可以被其它文件訪問
System.out.println("Channel locked in shared mode.");
Thread.sleep(30 * 1000L); // 鎖住 30 s
lock.release();

與 lock() 相比,tryLock() 是非阻塞的,無論是否能夠獲取到鎖,它都會立即返回。若 tryLock() 請求鎖定的區(qū)域已經(jīng)被操作系統(tǒng)內的其它的進程鎖住了,則返回 null;而 lock() 會阻塞,直到獲取到了鎖、通道被關閉或者線程被中斷為止。

5. 通道轉換

普通的讀寫方式是利用一個 ByteBuffer 緩沖區(qū),作為數(shù)據(jù)的容器。但如果是兩個通道之間的數(shù)據(jù)交互,利用緩沖區(qū)作為媒介是多余的。文件通道允許從一個 ReadableByteChannel 中直接輸入數(shù)據(jù),也允許直接往 WritableByteChannel 中寫入數(shù)據(jù)。實現(xiàn)這兩個操作的分別為 transferFrom(ReadableByteChannel src, position, count) 和 transferTo(position, count, WritableChannel target) 方法。

這進行通道間的數(shù)據(jù)傳輸時,這兩個方法比使用 ByteBuffer 作為媒介的效率要高;很多操作系統(tǒng)支持文件系統(tǒng)緩存,兩個文件之間實際可能并沒有發(fā)生復制。

transferFrom 或者 transferTo 在調用之后并不會改變 position 的位置。

下面示例是一個 spring 源碼中的一個工具方法。

public static void copy(File source, File target) throws IOException {
 FileInputStream sourceOutStream = new FileInputStream(source);
 FileOutputStream targetOutStream = new FileOutputStream(target);
 FileChannel sourceChannel = sourceOutStream.getChannel();
 FileChannel targetChannel = targetOutStream.getChannel();
 sourceChannel.transferTo(0, sourceChannel.size(), targetChannel);
 sourceChannel.close();
 targetChannel.close();
 sourceOutStream.close();
 targetOutStream.close();
}

需要注意的是,調用這兩個轉換方法之后,某些情況下并不保證數(shù)據(jù)能夠全部完成傳輸,確切傳輸了多少字節(jié)的數(shù)據(jù)需要根據(jù)返回的值來進行判斷。例如:從一個非阻塞模式下的 SocketChannel 中輸入數(shù)據(jù)就不能夠一次性將數(shù)據(jù)全部傳輸過來,或者將文件通道的數(shù)據(jù)傳輸給一個非阻塞模式下的 SocketChannel 不能一次性傳輸過去。

下面給出一個示例,客戶端連接到服務端,然后從服務端下載一個叫 video.mp4 文件,文件在當前目錄存在。

錯誤示例:

/** 服務端 **/
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); // 打開服務通道
serverSocketChannel.bind(new InetSocketAddress(9090)); // 綁定端口號
SocketChannel clientChannel = serverSocketChannel.accept(); // 等待客戶端連接,獲取 SocketChannel
FileChannel fileChannel = FileChannel.open(Paths.get("video.mp4"), StandardOpenOption.READ); // 打開文件通道
fileChannel.transferTo(0, fileChannel.size(), clientChannel); // 【可能出錯位置】文件通道數(shù)據(jù)輸出轉化到 socket 通道,輸出范圍為整個文件。文件太大將導致輸出不完整

/** 客戶端 **/
SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("localhost", 9090)); // 打卡 socket 通道并連接到服務端
FileChannel fileChannel = FileChannel.open(Paths.get("video-downloaded.mp4"), StandardOpenOption.TRUNCATE_EXISTING, StandardOpenOption.WRITE, StandardOpenOption.CREATE); // 打開文件通道
fileChannel.transferFrom(socketChannel, 0, Long.MAX_VALUE); // 【非阻塞模式下可能出錯】
fileChannel.force(false); // 確保數(shù)據(jù)刷出到磁盤

正確的姿勢是:transferTo/transferFrom 的時候應該用一個循環(huán)檢查實際輸出內容大小是否和期望輸出內容大小一致,特別是通道處于非阻塞模式下,極大概率不能夠一次傳輸完成。

所以服務端正確的轉換方式是:

long transfered = 0;
while (transfered < fileChannel.size()){
 transfered += fileChannel.transferTo(transfered, fileChannel.size(), clientChannel);
}

本例中客戶端使用的是阻塞模式,服務端通道關閉輸出(socketChannel.shutdownOutput())之后 transferFrom 才退出,服務端正常關閉通道的情況下數(shù)據(jù)傳輸不會出錯,這里就不處理非正常關閉的情況了。(完整代碼)。

6. 截取文件

FileChannel.truncate(long size) 可以截取指定的文件,指定大小之后的內容將被丟棄。size 的值可以超過文件大小,超過的話不會截取任何內容,也不會增加任何內容。

FileChannel fileChannel = FileChannel.open(Paths.get("a.txt"), StandardOpenOption.WRITE);
fileChannel.truncate(1);
System.out.println(fileChannel.size()); // 輸出 1
fileChannel.write(ByteBuffer.wrap("Hello".getBytes()));
System.out.println(fileChannel.size()); // 輸出 5
fileChannel.force(true);
fileChannel.close();

7. 映射文件到直接內存

文件通道 FileChannel 可以將文件的指定范圍映射到程序的地址空間中,映射部分使用字節(jié)緩沖區(qū)的一個子類 MappedByteBuffer 的對象表示,只要對映射字節(jié)緩沖區(qū)進行操作就能夠達到操作文件的效果。與之相對應的,前面介紹的內容是通過操作文件通道和堆內存中的字節(jié)緩沖區(qū) HeapByteBuffer 來達到操作文件的目的。

通過 ByteBuffer.allocate() 分配的緩沖區(qū)是一個 HeapByteBuffer,存在于 JVM 堆中;而 FileChannle.map() 將文件映射到直接內存,返回的是一個 MappedByteBuffer,存在于堆外的直接內存中;這塊內存在 MappedByteBuffer 對象本身被回收之前有效。

7.1 內存映射原理

前面使用堆緩沖區(qū) ByteBuffer 和文件通道 FileChannel 對文件的操作使用的是 read()/write() 系統(tǒng)調用。讀取數(shù)據(jù)時數(shù)據(jù)從 I/O 設備讀到內核緩存,再從內核緩存復制到用戶空間緩存,這里是 JVM 的堆內存。而映射磁盤文件是使用 mmap() 系統(tǒng)調用,將文件的指定部分映射到程序地址空間中;數(shù)據(jù)交互發(fā)生在 I/O 設備于用戶空間之間,不需要經(jīng)過內核空間。

雖然映射磁盤文件減少了一次數(shù)據(jù)復制,但對于大多數(shù)操作系統(tǒng)來說,將文件映射到內存這個操作本身開銷較大;如果操作的文件很小,只有數(shù)十KB,映射文件所獲得的好處將不及其開銷。因此,只有在操作大文件的時候才將其映射到直接內存。

7.2 映射緩沖區(qū)用法

文件通道 FileChanle 通過成員方法 map(MapMode mode, long position, long size) 將文件映射到應用內存。

FileChannel fileChannel = FileChannel.open(Paths.get("a.txt"), StandardOpenOption.READ, StandardOpenOption.WRITE); // 以讀寫的方式打開文件通道
MappedByteBuffer buf = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, fileChannel.size()); // 將整個文件映射到內存

mode 表示打開模式,為枚舉值,其值可以為 READ_ONLY, READ_WRITE, PRIVATE。
+ 模式為 READ_ONLY 時,不能對 buf 進行寫操作;
+ 模式為 READ_WRITE 時,通道 fileChannel 必須具有讀寫文件的權限;對 buf 進行的寫操作將對文件生效,但不保證立即同步到 I/O 設備;
+ 模式為 PRIVATE 時,通道 fileChannle 必須對文件有讀寫權限;但是對文件的修改操作不會傳播到 I/O 設備,而是會在內存復制一份數(shù)據(jù)。此時對文件的修改對其它線程和進程不可見。

position 指定文件的開始映射到內存的位置;

size 指定映射的大小,值為非負 int 型整數(shù)。

調用 map() 方法之后,返回的 MappedByteBuffer 就于 fileChannel 脫離了關系,關閉 fileChannel 對 buf 沒有影響。同時,如果要確保對 buf 修改的數(shù)據(jù)能夠同步到文件 I/O 設備中,需要調用 MappedByteBuffer 中的無參數(shù)的 force() 方法,而調用 FileChannel 中的 force(metaData) 方法無效。

此時可以通過操作緩沖區(qū)來操作文件了。不過映射的內容存在于 JVM 程序的堆外內存中,這部分內存是虛擬內存,意味著 buf 中的內容不一定都在物理內存中,要讓這些內容加載到物理內存,可以調用 MappedByteBuffer 中的 load() 方法。另外,還可以調用 isLoaded() 來判斷 buf 中的內容是否在物理內存中。

FileChannel fileChannel = FileChannel.open(Paths.get("a.txt"), StandardOpenOption.WRITE, StandardOpenOption.READ);
MappedByteBuffer buf = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, fileChannel.size());
fileChannel.close(); // 關于文件通道對 buf 沒有影響
System.out.println(buf.capacity()); // 輸出 fileChannel.size()
System.out.println(buf.limit()); // 輸出 fileChannel.size()
System.out.println(buf.position()); // 輸出 0
buf.put((byte)'R'); // 寫入內容
buf.compact();  // 截掉 positoin 之前的內容
buf.force();  // 將數(shù)據(jù)刷出到 I/O 設備

8. 小結

1)文件通道 FileChannel 能夠將數(shù)據(jù)從 I/O 設備中讀入(read)到字節(jié)緩沖區(qū)中,或者將字節(jié)緩沖區(qū)中的數(shù)據(jù)寫入(write)到 I/O 設備中。

2)文件通道能夠轉換到 (transferTo) 一個可寫通道中,也可以從一個可讀通道轉換而來(transferFrom)。這種方式使用于通道之間地數(shù)據(jù)傳輸,比使用緩沖區(qū)更加高效。

3)文件通道能夠將文件的部分內容映射(map)到 JVM 堆外內存中,這種方式適合處理大文件,不適合處理小文件,因為映射過程本身開銷很大。

4)在對文件進行重要的操作之后,應該將數(shù)據(jù)刷出刷出(force)到磁盤,避免操作系統(tǒng)崩潰導致的數(shù)據(jù)丟失。

到此這篇關于Java NIO 文件通道 FileChannel 用法的文章就介紹到這了,更多相關Java NIO 文件通道 FileChannel內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • jbuilder2006連接sqlserver2000的方法

    jbuilder2006連接sqlserver2000的方法

    xp jbuiler2006 連接SQL SERVER2000的問題
    2008-10-10
  • Maven+oracle+SSM搭建簡單項目的方法

    Maven+oracle+SSM搭建簡單項目的方法

    本篇文章主要介紹了Maven+oracle+SSM搭建簡單項目的方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-03-03
  • Java 批量獲取地址間距離工具(支持中轉站)

    Java 批量獲取地址間距離工具(支持中轉站)

    本文主要介紹了Java批量獲取地址間距離,獲取兩個地址間距離,實現(xiàn)方式比較多,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-07-07
  • spring jpa ManyToMany原理及用法詳解

    spring jpa ManyToMany原理及用法詳解

    這篇文章主要介紹了spring jpa ManyToMany原理及用法詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-10-10
  • Java爬取網(wǎng)站源代碼和鏈接代碼實例

    Java爬取網(wǎng)站源代碼和鏈接代碼實例

    這篇文章主要介紹了Java爬取網(wǎng)站源代碼和鏈接代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-11-11
  • java springmvc 注冊中央調度器代碼解析

    java springmvc 注冊中央調度器代碼解析

    這篇文章主要介紹了java springmvc 注冊中央調度器代碼解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-08-08
  • JavaMail入門教程之接收郵件(4)

    JavaMail入門教程之接收郵件(4)

    這篇文章主要為大家詳細介紹了JavaMail入門教程之接收郵件的相關資料,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2016-12-12
  • idea聚合工程搭建過程詳解

    idea聚合工程搭建過程詳解

    本章主要以order訂單服務來遠程調用payment支付服務為例,當然這里只是簡單的一個遠程調用,沒有太復雜的邏輯,重點是要掌握的是maven的聚合工程搭建,微服務分模塊的思想,每一個步驟我都會詳細記錄,并且文章下方還提供了git源碼地址
    2022-06-06
  • java jdbc連接和使用詳細介紹

    java jdbc連接和使用詳細介紹

    這篇文章主要介紹了 java jdbc連接和使用詳細介紹的相關資料,需要的朋友可以參考下
    2016-12-12
  • SpringBoot @SpringBootTest加速單元測試的小訣竅

    SpringBoot @SpringBootTest加速單元測試的小訣竅

    這篇文章主要介紹了SpringBoot @SpringBootTest加速單元測試的小訣竅,具有很好的參考價值,對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-11-11

最新評論