Python使用mmap實現(xiàn)內存映射文件操作

更新時間：2021年06月07日 10:31:57 作者：一天一篇Python庫

內存映射通常可以提高I/O的性能，本文主要介紹了Python使用mmap實現(xiàn)內存映射文件操作，分享給大家，感興趣的可以了解一下

前言

內存映射通?？梢蕴岣逫/O的性能，因為使用內存映射時，不需要對每個訪問都建立一個單獨的系統(tǒng)調用，也不需要在緩沖區(qū)之間復制數(shù)據(jù)，內核和用戶都能很方便的直接訪問內存。

說明

　1）什么叫映射？

　　　==>就是給一個對象（可以是變量、物理等），起一個唯一的別名，建立一一對應的關系；

　2）文件映射：將磁盤上的文件的位置，與進程邏輯地址空間中一塊大小相同的區(qū)域之間的一一對應；

　3）映射后得到一個類似數(shù)組類型的東西（mmap.mmap()對象），可以通過類似操作數(shù)組的方式，達到對文件內容更改的目的；

優(yōu)點

　1）相對于二進制文件的缺陷
　　通常讀寫文件時，使用read()和write()方法，這兩種方法都是以流的形式進行的，也就是一個字節(jié)接著一個字節(jié)的讀寫；如果想從某一位置開始讀寫，使用seek()方法調整文件指針，此方法對二進制文件的操作非常不方便，因為相對于二進制文件，數(shù)據(jù)寫入文件時是以數(shù)組的形式，將數(shù)據(jù)映射到文件內，然后就以訪問數(shù)組的形式訪問文件，而且在對文件進行修改后，能再次通過此數(shù)組將數(shù)據(jù)同步到文件中；

　2）某些嵌入式設備，寄存器被編址到內存地址空間，我們可以映射/dev/mem某范圍，取訪問這些寄存器
　　例如：在樹莓派（為學習計算機編程教育設計的一種微型電腦）上，有一個pwm波形的發(fā)生器，若想使用此發(fā)生器，就要訪問樹莓派的寄存器；實際上，寄存器就是物理地址的某一特定空間；此時，如果要訪問寄存器，需要將 /dev/mem 的某一范圍，映射到內存中，用訪問內存的方式來訪問寄存器；

　3）如果多個進程映射同一個文件，還能實現(xiàn)進程通信的目的
　　多個進程把同一個文件映射到各自的內存空間當中，實際上它們看到的是同一個視圖，也能實現(xiàn)進程通信的目的；

本篇，將詳細介紹Python內存映射庫：mmap。

mmap（讀文件）

使用mmap()函數(shù)可以創(chuàng)建一個內存映射文件。該函數(shù)的第1個參數(shù)是一個文件描述符，可以通過file對象的fileno()函數(shù)獲??；第2個參數(shù)是要映射的文件部分大?。▎挝蛔止?jié)），如果該值為0，映射整個文件，如果該參數(shù)大于文件大小，則擴展該文件。

示例如下：

import mmap

with open('英文文檔.txt','r') as f:
    with mmap.mmap(f.fileno(),0,access=mmap.ACCESS_READ) as m:
        print(m.read(10))
        print(m.read(10))
        print(m[:-10])

運行之后，效果如下：

這里讀寫會根據(jù)文件指針進行移動，比如開始讀10個字符，那么第2次讀就會接著11個字符開始在讀，不會返回起點，而通過切片或者seek()函數(shù)可以將指針重置。

至于access參數(shù)，表示以什么方式訪問，這里以讀的方式。

需要特別注意的是，windows不支持創(chuàng)建長度為0的映射。

write（寫文件）

寫文件比較簡單，這里我們直接看一段代碼：

import mmap

word = b'The'

with open('英文文檔.txt', 'r+') as f:
    with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_WRITE) as m:
        loc = m.find(word)
        m[loc:loc + len(word)] = b'lyj'
        print(m.read())

運行之后，首字母The，就被我們替換成"lyj"了，效果如下：