Django bulk_create()、update()與數(shù)據(jù)庫事務(wù)的效率對比分析
下面以創(chuàng)建10000個(gè)對象為例進(jìn)行測試:
# 用for循環(huán)挨個(gè)創(chuàng)建,共花費(fèi)37秒 for i in range(10000): name="String number %s"%i Record.objects.create(name=name) # 用django事務(wù)只提交一次,共花費(fèi)2.65秒 @transaction.commit_manually def manual_transaction(): for i in range(10000): name="String number %s"%i Record.objects.create(name=name) transaction.commit() # 用bulk_create創(chuàng)建,共花費(fèi)0.47秒 def builtin(): insert_list =[] for i in range(10000): name="String number %s"%i insert_list.append(Record(name=name)) Record.objects.bulk_create(insert_list) # 用for循環(huán)挨個(gè)更新,共花費(fèi)72秒: def auto_transaction(): for record inRecord.objects.all(): record.name ="String without number" record.save() # 用django事務(wù)只提交一次,共花費(fèi)17秒 @transaction.commit_manually def manual_transaction(): for record inRecord.objects.all(): record.name ="String without number" record.save() transaction.commit() # 用update更新,共花費(fèi)0.33秒 def builtin(): Record.objects.all().update(name="String without number")
補(bǔ)充知識:django的model使用上容易遇到的坑,default=datetime.now和auto_now、null和blank、save和update、bulk_create
一、django設(shè)置字段動(dòng)態(tài)默認(rèn)時(shí)間的四種方式:
from django.db import models from datetime import datetime class User(models.Model): id = models.BigAutoField('主鍵', primary_key=True) name = models.CharField('名字', max_length=20, db_index=True, default='') create_time_one = models.DateTimeField('創(chuàng)建時(shí)間', default=datetime.now()) update_time_one = models.DateTimeField('更新時(shí)間', default=datetime.now) create_time_tow = models.DateTimeField('創(chuàng)建時(shí)間', auto_now_add=True) update_time_tow = models.DateTimeField('更新時(shí)間', auto_now=True)
1. default=datetime.now()
model每次初始化,都會(huì)自動(dòng)設(shè)置該字段的默認(rèn)值為初始化時(shí)間。
2. default=datetime.now
model每次進(jìn)行新增或修改操作,都會(huì)自動(dòng)設(shè)置該字段的值為操作時(shí)間。設(shè)置后仍可以使用ORM手動(dòng)修改該字段。
3. auto_now_add=True
默認(rèn)值為False,若設(shè)置為True,model每次進(jìn)行新增操作,都會(huì)自動(dòng)設(shè)置該字段的值為操作時(shí)間。設(shè)置為True后無法使用ORM手動(dòng)修改該字段,哪怕填充了字段的值也會(huì)被覆蓋。
4. auto_now=True
默認(rèn)值為False,若設(shè)置為True,model每次進(jìn)行新增或修改操作,都會(huì)自動(dòng)設(shè)置該字段的值為操作時(shí)間。設(shè)置為True后無法使用ORM手動(dòng)修改該字段,哪怕填充了字段的值也會(huì)被覆蓋。
5. 要注意的點(diǎn)
除非想設(shè)置動(dòng)態(tài)默認(rèn)時(shí)間為項(xiàng)目的啟動(dòng)時(shí)間,否則default=datetime.now()這種用法是錯(cuò)誤的,會(huì)得到期望之外的結(jié)果。
使用User.objects.update方法時(shí),設(shè)置的default=datetime.now和auto_now=True都不會(huì)生效,由于設(shè)置了auto_now=True的字段不能手動(dòng)修改,此時(shí)只能使用save方法修改數(shù)據(jù),這對于多個(gè)數(shù)據(jù)的更新是不友好的。
因此如果設(shè)置動(dòng)態(tài)默認(rèn)時(shí)間的字段,應(yīng)該使用default=datetime.now和auto_now_add=True來實(shí)現(xiàn)。
二、null=True和blank=True的區(qū)別
1. null針對數(shù)據(jù)庫,如果null=True,表示數(shù)據(jù)庫的該字段可以為空。
2. blank針對表單的,如果blank=True,表示表單填寫該字段時(shí)可以不填。
mysql中空值不占用空間,NULL占用空間,而且使用NULL會(huì)使索引的效率下降。因此從性能上來說,不建議使用null=True,最好使用default=''。
三、save和build_create的區(qū)別
1. 使用save方法:
names = ['張三', '李四'] for name in names: user = User(name=name) user.save() print(user.id) # 此時(shí)user對象有id的值
2. 使用bulk_create方法:
names = ['張三', '李四'] users = [User(name=name) for name in names] users = User.objects.bulk_create(users) print([user.id for user in users]) # 此時(shí)user對象沒有id的值
bulk_create的優(yōu)點(diǎn):
批量操作時(shí)只與數(shù)據(jù)庫進(jìn)行一次交互,效率高。
bulk_create的缺點(diǎn):
對于設(shè)置了自增的字段,返回值中不會(huì)有該字段的值,如上例2中的user對象。
對于設(shè)置了動(dòng)態(tài)默認(rèn)時(shí)間的字段,如設(shè)置了auto_now=True,同一批處理的記錄中該字段的時(shí)間將會(huì)相同。
四、上面的知識點(diǎn)使用的例子
1. 定義模型
from django.db import models from datetime import datetime class User(models.Model): id = models.BigAutoField('主鍵', primary_key=True) name = models.CharField('名字', max_length=20, db_index=True, blank=False, default='') create_time = models.DateTimeField('創(chuàng)建時(shí)間', auto_now_add=True) update_time = models.DateTimeField('更新時(shí)間', default=datetime.now)
2. 插入數(shù)據(jù)
# 方法一 names = ['張三', '李四'] users = [User(name=name) for name in names] users = User.objects.bulk_create(users) # 方法二 names = ['張三', '李四'] users = [User(name=name) for name in names] [user.save() for user in users]
3. 修改數(shù)據(jù)
# 方法一 names = ['張三', '李四'] User.objects.filter(name__in=names).update(name='changed', update_time=datetime.now()) # 這里必須顯式對update_time賦值 # 方法二 names = ['張三', '李四'] users = User.objects.filter(name__in=names) for use in users: user.name = 'changed' user.save() # 這里會(huì)自動(dòng)更新update_time,但是多次save效率低
以上這篇Django bulk_create()、update()與數(shù)據(jù)庫事務(wù)的效率對比分析就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
教你使用conda虛擬環(huán)境管理(創(chuàng)建、激活、重命名、刪除虛擬環(huán)境)
conda是一個(gè)強(qiáng)大的Python包管理和環(huán)境管理工具,它可以幫助我們輕松地安裝、更新、卸載和切換不同版本的Python和各種第三方庫,本文就來介紹一下conda虛擬環(huán)境管理(創(chuàng)建、激活、重命名、刪除虛擬環(huán)境),感興趣的可以了解一下2024-01-01Python+selenium實(shí)現(xiàn)截圖圖片并保存截取的圖片
這篇文章介紹如何利用Selenium的方法進(jìn)行截圖并保存截取的圖片,需要的朋友參考下本文2018-01-01Pytorch中transforms.Resize()的簡單使用
這篇文章主要介紹了Pytorch中transforms.Resize()的簡單使用方式,具有很好的參考價(jià)值,希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-07-07使用python獲取CPU和內(nèi)存信息的思路與實(shí)現(xiàn)(linux系統(tǒng))
這篇文章主要介紹了python獲取CPU和內(nèi)存信息的思路與實(shí)現(xiàn),有需要的朋友可以參考一下2014-01-01基于django channel實(shí)現(xiàn)websocket的聊天室的方法示例
這篇文章主要介紹了基于基于django channel實(shí)現(xiàn)websocket的聊天室的方法示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-04-04python包pdfkit(wkhtmltopdf)?將HTML轉(zhuǎn)換為PDF的操作方法
pdfkit,把HTML+CSS格式的文件轉(zhuǎn)換成PDF格式文檔的一種工具。它就是html轉(zhuǎn)成pdf工具包wkhtmltopdf的Python封裝。所以,必須手動(dòng)安裝wkhtmltopdf,這篇文章主要介紹了python包pdfkit(wkhtmltopdf)將HTML轉(zhuǎn)換為PDF,需要的朋友可以參考下2022-04-04Python神奇的內(nèi)置函數(shù)locals的實(shí)例講解
今天小編就為大家分享一篇關(guān)于Python神奇的內(nèi)置函數(shù)locals的實(shí)例講解,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來看看吧2019-02-02在cmd中運(yùn)行.py文件: python的操作步驟
今天小編就為大家分享一篇在cmd中運(yùn)行.py文件: python的操作步驟,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05