Django查詢數(shù)據(jù)庫的性能優(yōu)化示例代碼
前言
Django數(shù)據(jù)層提供各種途徑優(yōu)化數(shù)據(jù)的訪問,一個項(xiàng)目大量優(yōu)化工作一般是放在后期來做,早期的優(yōu)化是“萬惡之源”,這是前人總結(jié)的經(jīng)驗(yàn),不無道理。如果事先理解Django的優(yōu)化技巧,開發(fā)過程中稍稍留意,后期會省不少的工作量。
現(xiàn)在有一張記錄用戶信息的UserInfo數(shù)據(jù)表,表中記錄了10個用戶的姓名,呢稱,年齡,工作等信息.
models文件
from django.db import models class Job(models.Model): title=models.CharField(max_length=32) class UserInfo(models.Model): username=models.CharField(max_length=32) nickname=models.CharField(max_length=32) job=models.ForeignKey(to="Job",to_field="id",null=True)
數(shù)據(jù)表中記錄:
另一張數(shù)據(jù)表記錄用戶工作的Job表,關(guān)聯(lián)用戶的工作字段.
要查出每個用戶的用戶名,呢稱和工作等信息
def index(request): user_list=models.UserInfo.objects.all() print(user_list.query) # 打印查詢時使用的語句 print(type(user_list)) # 打印查詢結(jié)果的數(shù)據(jù)類型 for user in user_list: print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title)) return render(request,'index.html')
打印信息:
SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo" <class 'django.db.models.query.QuerySet'> user1-->user1-->python user2-->user2-->linux user3-->user3-->golang user4-->user4-->python user5-->user5-->linux user6-->user6-->golang user7-->user7-->python user8-->user8-->linux user9-->user9-->golang user10-->user10-->linux
在服務(wù)端進(jìn)行這些操作,這些查詢語句的性能是很低的,遍歷取出這10個用戶的姓名,呢稱,工作等信息要在兩張數(shù)據(jù)庫中執(zhí)行11次查詢操作.
首先只從UserInfo表中查出所有的用戶記錄,需要執(zhí)行一次查詢操作.
查詢Job數(shù)據(jù)表,每循環(huán)一次用戶信息的列表,都需要從Job表中查詢一次用戶的工作信息.
數(shù)據(jù)表中總共記錄了10條用戶記錄,所以還需要循環(huán)10次才能從Job表中查詢完成所有用戶的工作信息.所以一共需要執(zhí)行11次數(shù)據(jù)庫查詢操作.
那有沒有什么好的方法能夠提高數(shù)據(jù)庫查詢的效率呢???
def index(request): user_list=models.UserInfo.objects.values("username","nickname","job") print(user_list.query) # 打印查詢時使用的語句 print(type(user_list)) # 打印查詢結(jié)果的數(shù)據(jù)類型 print("user_list:",user_list) for user in user_list: print(user["username"], user["nickname"], user["job"]) return render(request,'index.html')
運(yùn)行程序,在服務(wù)端后臺打印信息:
SELECT "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo" <class 'django.db.models.query.QuerySet'> user_list: <QuerySet [{'username': 'user1', 'nickname': 'user1', 'job': 1}, {'username': 'user2', 'nickname': 'user2', 'job': 2}, {'username': 'user3', 'nickname': 'user3', 'job': 3}, {'username': 'user4', 'nickname': 'user4', 'job': 1}, {'username': 'user5', 'nickname': 'user5', 'job': 2}, {'username': 'user6', 'nickname': 'user6', 'job': 3}, {'username': 'user7', 'nickname': 'user7', 'job': 1}, {'username': 'user8', 'nickname': 'user8', 'job': 2}, {'username': 'user9', 'nickname': 'user9', 'job': 3}, {'username': 'user10', 'nickname': 'user10', 'job': 2}]> user1 user1 1 user2 user2 2 user3 user3 3 user4 user4 1 user5 user5 2 user6 user6 3 user7 user7 1 user8 user8 2 user9 user9 3 user10 user10 2
可以看到,查詢的結(jié)果user_list依然是一個QuerySet,但這個對象集合內(nèi)部卻是一個字典.
而且這次的查詢只執(zhí)行了兩次數(shù)據(jù)庫查詢操作.
通過這種方式,只需要兩次查詢就能得到想要的數(shù)據(jù),優(yōu)化了數(shù)據(jù)庫的查詢效率.
Django數(shù)據(jù)庫優(yōu)化操作之select_related主動聯(lián)表查詢
上面的例子里,取對象集合的時候,難道只能查詢當(dāng)前數(shù)據(jù)表,不能查詢其他數(shù)據(jù)表嗎??
當(dāng)然不是,在這里還可以使用select_related這個方法.
在第一次查詢的時候,在all()后面加上一個select_related來做主動的聯(lián)表查詢.
在創(chuàng)建這兩張數(shù)據(jù)表時,job在UserInfo數(shù)據(jù)表中是做為一個ForeignKey存在的,所以加上select_related后不僅只查詢到了UserInfo數(shù)據(jù)庫的記錄,同時也查詢了Job數(shù)據(jù)表中的記錄.
def index(request): user_list=models.UserInfo.objects.all().select_related("job") print(user_list.query) # 打印查詢時使用的語句 print(type(user_list)) # 打印查詢結(jié)果的數(shù)據(jù)類型 print("user_list:",user_list) for user in user_list: print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title)) return render(request,'index.html')
服務(wù)端打印結(jié)果
SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id", "app01_job"."id", "app01_job"."title" FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id") <class 'django.db.models.query.QuerySet'> user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]> user1-->user1-->python user2-->user2-->linux user3-->user3-->golang user4-->user4-->python user5-->user5-->linux user6-->user6-->golang user7-->user7-->python user8-->user8-->linux user9-->user9-->golang user10-->user10-->linux
查看打印出來的查詢語句,其中有
"FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")"
用來做聯(lián)表查詢,只需要一次就可以查詢所有的數(shù)據(jù)了.
同樣的,如果還想繼續(xù)聯(lián)表,例如在Job表中再加一個外鍵字段desc,只需要在查詢語句中把desc加入進(jìn)來就可以了
user_list=models.UserInfo.objects.all().select_related("job__desc")
這樣一來就把三張表聯(lián)系起來做聯(lián)表查詢了,但是一定要確保所加的字段為ForeignKey.
如果使用類似models.UserInfo.objects.all()
語句進(jìn)行查詢時,不要做跨表查詢,只查詢當(dāng)前表中有的數(shù)據(jù),否則查詢語句的性能會下降很多.
如果想查其他表中的數(shù)據(jù),就加上select_related(ForeignKey字段名);
如果想取多個ForeignKey字段的數(shù)據(jù),則可以使用select_related(ForeignKey字段1,ForeignKey字段2,...)
聯(lián)表查詢操作性能也會降低,select_related就是用來做主動聯(lián)表查詢的.
Django數(shù)據(jù)庫優(yōu)化操作之perfetch_related非主動聯(lián)表查詢
perfetch_related方法是既非主動聯(lián)表查詢,又不進(jìn)行很多查詢語句的一種折衷方案
修改視圖函數(shù)index
def index(request): user_list=models.UserInfo.objects.all().prefetch_related("job") print(user_list.query) # 打印查詢時使用的語句 print(type(user_list)) # 打印查詢結(jié)果的數(shù)據(jù)類型 print("user_list:",user_list) for user in user_list: print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title)) return render(request,'index.html')
后端打印結(jié)果
SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo" <class 'django.db.models.query.QuerySet'> user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]> user1-->user1-->python user2-->user2-->linux user3-->user3-->golang user4-->user4-->python user5-->user5-->linux user6-->user6-->golang user7-->user7-->python user8-->user8-->linux user9-->user9-->golang user10-->user10-->linux
使用prefetch_related方法未聯(lián)表執(zhí)行兩次查詢操作
先查詢用戶表中的所有數(shù)據(jù),把用戶表中所有的job_id全部查詢出來,并執(zhí)行去重操作;
結(jié)果查詢出用戶的3種工作,接下來執(zhí)行"select"語句查詢"Job"數(shù)據(jù)表中的"title"字段
這樣一來就只執(zhí)行了兩次數(shù)據(jù)表的查詢操作
在prefetch_related方法中加入一個字段"job",執(zhí)行了兩次數(shù)據(jù)庫查詢操作;
如果再加一個字段,則會再多加一次數(shù)據(jù)為操作操作.
Django數(shù)據(jù)庫優(yōu)化操作之only方法
def index(request): user_list=models.UserInfo.objects.all().only("username") print(user_list.query) # 打印查詢時使用的語句 print(type(user_list)) # 打印查詢結(jié)果的數(shù)據(jù)類型 print("user_list:",user_list) for user in user_list: print("%s-->%s" %(user.username,user.nickname)) return render(request,'index.html')
服務(wù)端后臺打印信息
SELECT "app01_userinfo"."id", "app01_userinfo"."username" FROM "app01_userinfo" <class 'django.db.models.query.QuerySet'> user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]> user1-->user1 user2-->user2 user3-->user3 user4-->user4 user5-->user5 user6-->user6 user7-->user7 user8-->user8 user9-->user9 user10-->user10
執(zhí)行查詢操作的時候加上only方法,其查詢結(jié)果還是一個對象集合,但是從打印出的查詢語句可以看到,執(zhí)行查詢操作時只查詢了用戶的id字段和username字段,并沒有查詢nickname字段.
但是在后面的循環(huán)中,又可以打印用戶的nikename信息.為什么呢,因?yàn)橛謭?zhí)行了一次查詢的請求操作.由此得知,查詢操作使用了only方法,在only方法中加入哪個查詢字段,在后面就使用哪個查詢字段.
加only參數(shù)是從查詢結(jié)果中只取某個字段,而另外一個defer方法則是從查詢結(jié)果中排除某個字段
Django數(shù)據(jù)庫優(yōu)化操作之defer方法
修改index視圖函數(shù)
def index(request): user_list=models.UserInfo.objects.all().defer("username") print(user_list.query) # 打印查詢時使用的語句 print(type(user_list)) # 打印查詢結(jié)果的數(shù)據(jù)類型 print("user_list:",user_list) for user in user_list: print("%s" % user.nickname) return render(request,'index.html')
服務(wù)端打印信息
SELECT "app01_userinfo"."id", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo" <class 'django.db.models.query.QuerySet'> user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]> user1 user2 user3 user4 user5 user6 user7 user8 user9 user10
通過打印的查詢語句可以知道,使用defer方法后,只從數(shù)據(jù)庫中查詢了用戶的id字段和用戶的nickname字段操作,并沒有查詢username字段,由此也可以提高Django查詢數(shù)據(jù)庫的性能.
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。
相關(guān)文章
Python訪問MongoDB,并且轉(zhuǎn)換成Dataframe的方法
今天小編就為大家分享一篇Python訪問MongoDB,并且轉(zhuǎn)換成Dataframe的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10Using Django with GAE Python 后臺抓取多個網(wǎng)站的頁面全文
這篇文章主要介紹了Using Django with GAE Python 后臺抓取多個網(wǎng)站的頁面全文,需要的朋友可以參考下2016-02-02PyTorch實(shí)現(xiàn)線性回歸詳細(xì)過程
本文介紹PyTorch實(shí)現(xiàn)線性回歸,線性關(guān)系是一種非常簡單的變量之間的關(guān)系,因變量和自變量在線性關(guān)系的情況下,可以使用線性回歸算法對一個或多個因變量和自變量間的線性關(guān)系進(jìn)行建模,該模型的系數(shù)可以用最小二乘法進(jìn)行求解,需要的朋友可以參考一下2022-03-03TensorFlow Saver:保存和讀取模型參數(shù).ckpt實(shí)例
今天小編就為大家分享一篇TensorFlow Saver:保存和讀取模型參數(shù).ckpt實(shí)例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02pycharm中加了斷點(diǎn)卻無法調(diào)試,直接執(zhí)行到程序結(jié)束如何解決
這篇文章主要介紹了pycharm中加了斷點(diǎn)卻無法調(diào)試,直接執(zhí)行到程序結(jié)束如何解決問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01卡爾曼濾波數(shù)據(jù)處理技巧通俗理解及python實(shí)現(xiàn)
這篇文章主要為大家介紹了卡爾曼濾波數(shù)據(jù)處理技巧的通俗理解及python實(shí)現(xiàn),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05Python?計(jì)算機(jī)視覺編程進(jìn)階之圖像特效處理篇
計(jì)算機(jī)視覺這種技術(shù)可以將靜止圖像或視頻數(shù)據(jù)轉(zhuǎn)換為一種決策或新的表示。所有這樣的轉(zhuǎn)換都是為了完成某種特定的目的而進(jìn)行的,本篇我們來學(xué)習(xí)下如何對圖像進(jìn)行特效處理2021-11-11Python實(shí)現(xiàn)翻轉(zhuǎn)數(shù)組功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)翻轉(zhuǎn)數(shù)組功能,涉及Python針對數(shù)組的遍歷、判斷、排序等相關(guān)操作技巧,需要的朋友可以參考下2018-01-01基于Python的socket庫實(shí)現(xiàn)通信功能的示例代碼
本文主要給大家介紹了如何使用python的socket庫實(shí)現(xiàn)通信功能,這里簡單的給每個客戶端增加一個不重復(fù)的uid,客戶端之間可以根據(jù)這個uid選擇進(jìn)行廣播通信,感興趣的小伙伴快來看看吧2023-08-08