Django緩存系統(tǒng)實現(xiàn)過程解析
在動態(tài)網(wǎng)站中,用戶每次請求一個頁面,服務(wù)器都會執(zhí)行以下操作:查詢數(shù)據(jù)庫,渲染模板,執(zhí)行業(yè)務(wù)邏輯,最后生成用戶可查看的頁面。
這會消耗大量的資源,當訪問用戶量非常大時,就要考慮這個問題了。
緩存就是為了防止重復(fù)計算,把那些消耗了大量資源的結(jié)果保存起來,下次訪問時就不用再次計算了。緩存的邏輯:
given a URL, try finding that page in the cache if the page is in the cache: return the cached page else: generate the page save the generated page in the cache (for next time) return the generated page
Django提供了不同粒度的緩存:你可以緩存某個頁面,也可以只緩存很難計算、很消耗資源的某個部分,或者直接緩存整個網(wǎng)站。
Django也可以和一些”下游”緩存一起協(xié)作,例如Squid和基于瀏覽器的緩存,這些類型的緩存你不直接控制,但是你可以提供給他們站點哪部分應(yīng)該被緩存和怎樣被緩存(通過HTTP headers)。
設(shè)置緩存
在settings中的CACHES中設(shè)置緩存,下面是幾個可用的緩存選項:
Memcached
Django目前原生支持的最快最有效的緩存系統(tǒng)。要使用Memcached,需要下載Memcached支持庫,一般是python-memcached或者pylibmc。
然后設(shè)置BACKEND為django.core.cache.backends.memcached.MemcachedCache(使用python-memcached時)或者django.core.cache.backends.memcached.PyLibMCCache(使用pylibmc時)。
設(shè)置LOCATION為ip:port或者unix:path。例如:
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache', 'LOCATION': '127.0.0.1:11211', } }
或者
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache', 'LOCATION': 'unix:/tmp/memcached.sock', } }
當使用pylibmc時,去掉unix:/前綴:
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache', 'LOCATION': '/tmp/memcached.sock', } }
還可以在多臺機器上運行Memcached進程,程序?qū)堰@組機器當作一個單獨的緩存,而不需要在每臺機器上復(fù)制緩存值:
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache', 'LOCATION': [ '172.19.26.240:11211', '172.19.26.242:11212', '172.19.26.244:11213', ] } }
由于Memcached是基于內(nèi)存的緩存,數(shù)據(jù)只存儲在內(nèi)存中,如果服務(wù)器死機的話數(shù)據(jù)會丟失,所以不要把內(nèi)存緩存作為唯一的數(shù)據(jù)存儲方法。
Database caching
Django也可以把緩存數(shù)據(jù)存儲在數(shù)據(jù)庫中。
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.db.DatabaseCache', 'LOCATION': 'my_cache_table', } }
LOCATION為數(shù)據(jù)庫中table的名字,任意起,在數(shù)據(jù)庫中未被使用過即可以。
創(chuàng)建cache table:
python manage.py createcachetable
使用多數(shù)據(jù)庫時,也需要為cache table寫Router:
class CacheRouter(object): """A router to control all database cache operations""" def db_for_read(self, model, **hints): "All cache read operations go to the replica" if model._meta.app_label == 'django_cache': return 'cache_replica' return None def db_for_write(self, model, **hints): "All cache write operations go to primary" if model._meta.app_label == 'django_cache': return 'cache_primary' return None def allow_migrate(self, db, app_label, model_name=None, **hints): "Only install the cache model on primary" if app_label == 'django_cache': return db == 'cache_primary' return None
Filesystem caching
也可以使用文件來存儲緩存數(shù)據(jù)。
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache', 'LOCATION': '/var/tmp/django_cache', } }
LOCATION為緩存數(shù)據(jù)存儲目錄。
windows中:
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache', 'LOCATION': 'c:/foo/bar', } }
Local-memory caching
Django默認使用的緩存系統(tǒng),數(shù)據(jù)存儲在本地內(nèi)存中:
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.locmem.LocMemCache', 'LOCATION': 'unique-snowflake', } }
Dummy caching (for development)
開發(fā)時使用的:
CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.dummy.DummyCache', } }
Using a custom cache backend
也可以使用其它的緩存系統(tǒng),比如Redis,django-redis地址https://github.com/niwinz/django-redis 。
下載:pip install django-redis
設(shè)置:
CACHES = { "default": { "BACKEND": "django_redis.cache.RedisCache", "LOCATION": "redis://127.0.0.1:6379/1", "OPTIONS": { "CLIENT_CLASS": "django_redis.client.DefaultClient", } } }
Cache arguments
CACHES設(shè)置中有幾個額外的參數(shù):
TIMEOUT:緩存超時時間,默認為300s,可以設(shè)置為None,即永不超時。
OPTIONS : locmem, filesystem和database緩存系統(tǒng)這些有自己的剔除策略的系統(tǒng)有以下的參數(shù):
MAX_ENTRIES : 緩存中存放的最大條目數(shù),大于這個數(shù)時,舊的條目將會被刪除,默認為300.
CULL_FREQUENCY:當達到MAX_ENTRIES的時候,被接受的訪問的比率。實際的比率是1/cull_frequency,所以設(shè)置為2就是在達到max_entries時去除一半數(shù)量的緩存,設(shè)置為0意味著達到max_entries時,緩存將被清空。這個值默認是3。
KEY_PREFIX:一個會自動列入緩存key值的的字符串。
VERSION:緩存key值生成時使用的版本數(shù)字。
KEY_FUNCTION:key值最終生成所使用的方法。
緩存網(wǎng)站
要緩存整個網(wǎng)站,首先添加兩個中間件:
MIDDLEWARE = [ 'django.middleware.cache.UpdateCacheMiddleware', 'django.middleware.common.CommonMiddleware', 'django.middleware.cache.FetchFromCacheMiddleware', ]
注意update中間件要放在首位,fetch中間件放在最后。
在settings中添加以下值:
- CACHE_MIDDLEWARE_ALIAS:存儲用的緩存別名
- CACHE_MIDDLEWARE_SECONDS:頁面被緩存的時間
- CACHE_MIDDLEWARE_KEY_PREFIX:當緩存被不同的站點使用時,用來防止緩存key值沖突的,一般設(shè)為站點名字。
FetchFromCacheMiddleware中間件用來緩存通過GET和HEAD方法獲取的狀態(tài)碼為200的響應(yīng)。同一個url,帶有不同的查詢字符串,會當做不同的頁面分別緩存。
UpdateCacheMiddleware中間件在響應(yīng)HttpResponse中設(shè)置幾個headers:
- 設(shè)置Last-Modified為頁面最新的刷新時間,設(shè)置Expires為過期時間(現(xiàn)在時間加CACHE_MIDDLEWARE_SECONDS)
- 設(shè)置Cache-Control頁面最大有效期(CACHE_MIDDLEWARE_SECONDS)
views邏輯函數(shù)也可以自己設(shè)置過期時間:
- 使用django.views.decorators.cache.cache_control()設(shè)置緩存過期時間
- 使用django.views.decorators.cache.never_cache()禁止緩存
緩存頁面
使用django.views.decorators.cache.cache_page()來緩存某個頁面:
from django.views.decorators.cache import cache_page @cache_page(60 * 15) def my_view(request): ...
60*15是緩存15分鐘。
cache參數(shù)可以設(shè)置使用CACHES中的哪一個cache系統(tǒng),默認是default:
@cache_page(60 * 15, cache="special_cache") def my_view(request): ...
key_prefix參數(shù)和CACHE_MIDDLEWARE_KEY_PREFIX設(shè)置起得作用相同:
@cache_page(60 * 15, key_prefix="site1") def my_view(request): ...
可以在url中使用此方法:
from django.views.decorators.cache import cache_page urlpatterns = [ url(r'^foo/([0-9]{1,2})/$', cache_page(60 * 15)(my_view)), ]
模板片段緩存
{% load cache %} {% cache 500 sidebar %} .. sidebar .. {% endcache %}
{% cache %}模板標簽會緩存block內(nèi)容,至少包括兩個參數(shù):緩存時間和緩存片段的name。
可以根據(jù)變化的動態(tài)數(shù)據(jù)為一個片段緩存不同的copies:
{% load cache %} {% cache 500 sidebar request.user.username %} .. sidebar for logged in user .. {% endcache %}
CACHE API
根據(jù)CACHES設(shè)置中的cache別名獲取cache系統(tǒng):
>>> from django.core.cache import caches >>> cache1 = caches['myalias'] >>> cache2 = caches['myalias'] >>> cache1 is cache2 True
獲取默認default的cache:
>>> from django.core.cache import cache
基本用法set(key, value, timeout) 和get(key)::
>>> cache.set('my_key', 'hello, world!', 30) >>> cache.get('my_key') 'hello, world!'
key為字符串,value為 picklable的python對象。timeout設(shè)置為None時,緩存永不過時,設(shè)置為0時不緩存。
設(shè)置Vary header
Django默認是使用url地址作為cache的key值的,也就是對相同的url請求會返回相同的緩存。如果想根據(jù)不同的請求首部字段(比如cookie, language, user-agent)緩存不同的內(nèi)容,可以設(shè)置Vary首部字段。
from django.views.decorators.vary import vary_on_headers @vary_on_headers('User-Agent') def my_view(request): ...
上述代碼會為不同的user-agent設(shè)置單獨的緩存。也可以傳多個headers:
@vary_on_headers('User-Agent', 'Cookie') def my_view(request): ...
上述代碼當user-agent和cookie都相同時才會有相同的緩存。
cookie是比較常用的,有單獨的裝飾器,下面代碼是相通的:
@vary_on_cookie def my_view(request): ... @vary_on_headers('Cookie') def my_view(request): ...
Cache-Control頭部
可以使用cache_control裝飾器來設(shè)定Cache-Control頭部。
設(shè)置對特定的用戶提供緩存服務(wù):
from django.views.decorators.cache import cache_control @cache_control(private=True) def my_view(request): ...
設(shè)置時間:
from django.views.decorators.cache import cache_control @cache_control(max_age=3600) def my_view(request): ...
等等,可用的Cache-Control指令(IANA registry)都可使用。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
python執(zhí)行數(shù)據(jù)庫的查詢操作實例講解
在本篇文章里小編給大家整理了一篇關(guān)于python執(zhí)行數(shù)據(jù)庫的查詢操作實例講解內(nèi)容,有需要的朋友們可以參考學(xué)習(xí)下。2021-10-10用Python下載一個網(wǎng)頁保存為本地的HTML文件實例
今天小編就為大家分享一篇用Python下載一個網(wǎng)頁保存為本地的HTML文件實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05pytorch 中autograd.grad()函數(shù)的用法說明
這篇文章主要介紹了pytorch 中autograd.grad()函數(shù)的用法說明,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-05-05Python自定義函數(shù)計算給定日期是該年第幾天的方法示例
這篇文章主要介紹了Python自定義函數(shù)計算給定日期是該年第幾天的方法,結(jié)合具體實例形式分析了Python日期時間計算相關(guān)操作技巧,需要的朋友可以參考下2019-05-05談?wù)凱ython:為什么類中的私有屬性可以在外部賦值并訪問
這篇文章主要介紹了談?wù)凱ython:為什么類中的私有屬性可以在外部賦值并訪問,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03