python BytesIO 中 read 用法示例詳解
在用 Flask 寫一個(gè)項(xiàng)目,后臺(tái)管理用的插件暫時(shí)是 flask-admin。想實(shí)現(xiàn)的效果:在后臺(tái)管理頁面中,把提交到后端的圖片不保存在 static 文件夾下面,而是通過后端代碼把這個(gè)文件對象上傳到 AWS 的 S3中存儲(chǔ)。
通過flask-admin 上傳到后端的文件對象的類型是:
FileStorage # werkzeug.datastructures.FileStorage # flask 中的 request.files 獲取到的類型也是 FileStorage
所以先從提交到后端的 form 表單中獲取到該文件對象,例如為: img_obj。 現(xiàn)在剛需要把類型為 FileStorage 的 img_obj 轉(zhuǎn)化為 file-like object (AWS S3 boto3 中的 upload_fileobj 接口需要這樣的參數(shù))。轉(zhuǎn)化的過程用到了 shutil 的copyfileobj 和 BytesIO, 如下:
from shutil import copyfileobj temp_file = BytesIO() copyfileobj(img_obj.stream, temp_file) # img_obj.stream 應(yīng)該是能獲取到對象中的數(shù)據(jù)流; 然后把 imb_obj 中的數(shù)據(jù)流copy到 temp_file 中
然后,問題來了。 利用下面的 S3 upload_fileobj接口把文件上傳到 S3后,對應(yīng)的文件一直都是 0 比特。
代碼如下:
from shutil import copyfileobj temp_file = BytesIO() copyfileobj(img_obj.stream, temp_file) client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename) # 利用這個(gè)接口把文件上傳到服務(wù)器后一直都是0比特
查詢資料發(fā)現(xiàn)原因。
我們先來看下 shutil.copyfileobj 的源碼:
def copyfileobj(fsrc, fdst, length=16*1024): """copy data from file-like object fsrc to file-like object fdst""" while 1: buf = fsrc.read(length) if not buf: break fdst.write(buf) """ 從上述代碼的最后一行看,fdst.write(buf) ,此時(shí)寫“文件”的游標(biāo)已經(jīng)到“文件”的最后 """
我們再來看下面有關(guān) BytesIO 的的一些用法:
In [1]: from io import BytesIO In [2]: f = BytesIO() In [3]: f.write(b'abc') # 把byte 寫入到 f 中,此時(shí) 游標(biāo)已經(jīng)到f的最后位置 Out[3]: 3 In [4]: f.read() # 由于此時(shí)游標(biāo)是從f 的 最后的位置開始 read,那么后面的內(nèi)容肯定是空 Out[4]: b'' In [5]: f.tell() Out[5]: 3 # 說明游標(biāo)是在f最后的位置 In [6]: f.seek(0) # 利用 seek(0) 把游標(biāo)的位置放到f的 0 位置處 Out[6]: 0 In [7]: f.read() # 此時(shí)再 read 就能看到全部內(nèi)容 Out[7]: b'abc' """ getvalue() 是獲取全部內(nèi)容; read() 是從游標(biāo)的當(dāng)前位置往后讀 """
所以上面問題的原因也是:
copyfileobj 中的 fdst.write(buf) 寫完后,此時(shí)游標(biāo)在“文件”最后一個(gè)位置;而由于 S3 的 upload_fileobj 接口中的第一個(gè)參數(shù)是file-like object, 而且upload_fileobj會(huì)調(diào)用 這個(gè) file-like object 的 read() 方法,read 出來的內(nèi)容會(huì)上傳到 S3 上。 所以,解決辦法就是利用 seek(0) 把游標(biāo)位置再次放到 0 處
正確代碼如下:
from shutil import copyfileobj temp_file = BytesIO() copyfileobj(img_obj.stream, temp_file) temp_file.seek(0) # 讓游標(biāo)回到0處 client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)
或者直接把利用 FileStorage 的 stream 屬性把文件上傳到 S3,代碼如下:
client.upload_fileobj(img_obj.stream, "bucket-name", Key="static/%s" % img_obj.filename)
到此這篇關(guān)于python BytesIO 中 read 用法的文章就介紹到這了,更多相關(guān)python BytesIO read 用法內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python定時(shí)任務(wù)實(shí)現(xiàn)方案
這篇文章主要介紹了Python定時(shí)任務(wù)實(shí)現(xiàn)的方案,定時(shí)執(zhí)行的任務(wù),可以是一段bash命令,也可以是一個(gè)腳本文件。通常用于我們需要在特定時(shí)刻做事情,下面來看看文章詳細(xì)內(nèi)容,需要的朋友可以參考一下2021-11-11Python標(biāo)準(zhǔn)庫os庫的常用功能解析
這篇文章主要介紹了Python標(biāo)準(zhǔn)庫os庫的常用功能解析,os庫是Python標(biāo)準(zhǔn)庫之一,它提供了非常豐富的文件及目錄讀寫的方法2022-07-07教你利用PyTorch實(shí)現(xiàn)sin函數(shù)模擬
這篇文章主要給大家介紹了關(guān)于教你利用PyTorch實(shí)現(xiàn)sin函數(shù)模擬的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-01-01Python?OpenCV基于HSV的顏色分割實(shí)現(xiàn)示例
這篇文章主要為大家介紹了Python?OpenCV基于HSV的顏色分割實(shí)現(xiàn)示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06一篇文章教你用Python實(shí)現(xiàn)一個(gè)學(xué)生管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)學(xué)生管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-09-09對pandas中時(shí)間窗函數(shù)rolling的使用詳解
今天小編就為大家分享一篇對pandas中時(shí)間窗函數(shù)rolling的使用詳解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11python使用socket創(chuàng)建tcp服務(wù)器和客戶端
這篇文章主要為大家詳細(xì)介紹了python使用socket創(chuàng)建tcp服務(wù)器和客戶端,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-04-04