快捷導(dǎo)航

Django實現(xiàn)下載超大CSV文件的示例代碼

更新時間：2024年01月18日 08:04:39 作者：K8sCat

這篇文章主要為大家詳細介紹了如何利用 Django 進行大型 CSV 文件的流傳輸,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下

在處理大數(shù)據(jù)集的時候，我們經(jīng)常遇到的一個問題是內(nèi)存使用。當(dāng)我們試圖生成一個大型文件，如 CSV，并嘗試將其全部加載到內(nèi)存中時，可能會遇到內(nèi)存不足的問題。幸運的是，Django 提供了一個解決方案：流傳輸。本文將詳細的講述如何利用 Django 進行大型 CSV 文件的流傳輸。

流傳輸?shù)幕A(chǔ)概念

流傳輸是一種技術(shù)，允許你一次發(fā)送一小部分響應(yīng)，而不是一次性加載整個響應(yīng)到內(nèi)存中。這種技術(shù)對于服務(wù)大文件，如圖像，音頻和大型數(shù)據(jù)集非常有用。

創(chuàng)建 Django StreamingHttpResponse 對象

StreamingHttpResponse 對象允許我們將響應(yīng)內(nèi)容按部分，或者說“流”的形式發(fā)送給客戶端。試看以下代碼：

from django.http import StreamingHttpResponse

def big_file_download(request):
    def file_iterator(file_name, chunk_size=512):
        with open(file_name, "rb") as f:
            while True:
                c = f.read(chunk_size)
                if c:
                    yield c
                else:
                    break
    response = StreamingHttpResponse(file_iterator('big_file.csv'))
    return response

在這里，我們首先創(chuàng)建一個生成器函數(shù) file_iterator，它以 chunk_size 為單位讀取文件，然后用這個生成器函數(shù)作為 StreamingHttpResponse 的參數(shù)，從而創(chuàng)建出一個可以流傳輸?shù)捻憫?yīng)對象。

實現(xiàn) Django 流傳輸大型 CSV 文件

現(xiàn)在，我們知道了如何創(chuàng)建 StreamingHttpResponse 對象，接著看一下如何用它來流傳輸大型 CSV 文件:

import csv
from django.http import StreamingHttpResponse
from .models import Person

class Echo:
    def write(self, value):
        return value

def streaming_csv_view(request):
    persons = Person.objects.all().values_list('name', 'age', 'city')
    pseudo_buffer = Echo()
    writer = csv.writer(pseudo_buffer)
    
    response = StreamingHttpResponse((writer.writerow(person) for person in persons),
                                     content_type="text/csv")
    response['Content-Disposition'] = 'attachment; filename="persons.csv"'
    return response

在上述代碼中,我們創(chuàng)建了一個 Echo 類，并將其實例 pseudo_buffer 作為 csv.writer 的參數(shù)。這樣，我們可以以迭代的方式寫入 CSV 行，而不必把它們?nèi)考虞d到內(nèi)存中。之后，我們把這個 writerow 方法的迭代器作為 StreamingHttpResponse 的參數(shù)。注意，我們此時仍需要設(shè)置正確的 MIME 類型和 Content-Disposition 頭部。