Django實現下載超大CSV文件的示例代碼

更新時間：2024年01月18日 08:04:39 作者：K8sCat

這篇文章主要為大家詳細介紹了如何利用 Django 進行大型 CSV 文件的流傳輸,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下

在處理大數據集的時候，我們經常遇到的一個問題是內存使用。當我們試圖生成一個大型文件，如 CSV，并嘗試將其全部加載到內存中時，可能會遇到內存不足的問題。幸運的是，Django 提供了一個解決方案：流傳輸。本文將詳細的講述如何利用 Django 進行大型 CSV 文件的流傳輸。

流傳輸的基礎概念

流傳輸是一種技術，允許你一次發(fā)送一小部分響應，而不是一次性加載整個響應到內存中。這種技術對于服務大文件，如圖像，音頻和大型數據集非常有用。

創(chuàng)建 Django StreamingHttpResponse 對象

StreamingHttpResponse 對象允許我們將響應內容按部分，或者說“流”的形式發(fā)送給客戶端。試看以下代碼：

from django.http import StreamingHttpResponse

def big_file_download(request):
    def file_iterator(file_name, chunk_size=512):
        with open(file_name, "rb") as f:
            while True:
                c = f.read(chunk_size)
                if c:
                    yield c
                else:
                    break
    response = StreamingHttpResponse(file_iterator('big_file.csv'))
    return response

在這里，我們首先創(chuàng)建一個生成器函數 file_iterator，它以 chunk_size 為單位讀取文件，然后用這個生成器函數作為 StreamingHttpResponse 的參數，從而創(chuàng)建出一個可以流傳輸的響應對象。

實現 Django 流傳輸大型 CSV 文件

現在，我們知道了如何創(chuàng)建 StreamingHttpResponse 對象，接著看一下如何用它來流傳輸大型 CSV 文件:

import csv
from django.http import StreamingHttpResponse
from .models import Person

class Echo:
    def write(self, value):
        return value

def streaming_csv_view(request):
    persons = Person.objects.all().values_list('name', 'age', 'city')
    pseudo_buffer = Echo()
    writer = csv.writer(pseudo_buffer)
    
    response = StreamingHttpResponse((writer.writerow(person) for person in persons),
                                     content_type="text/csv")
    response['Content-Disposition'] = 'attachment; filename="persons.csv"'
    return response

在上述代碼中,我們創(chuàng)建了一個 Echo 類，并將其實例 pseudo_buffer 作為 csv.writer 的參數。這樣，我們可以以迭代的方式寫入 CSV 行，而不必把它們全部加載到內存中。之后，我們把這個 writerow 方法的迭代器作為 StreamingHttpResponse 的參數。注意，我們此時仍需要設置正確的 MIME 類型和 Content-Disposition 頭部。