詳解django+django-celery+celery的整合實(shí)戰(zhàn)
本篇文章主要是由于計(jì)劃使用django寫一個(gè)計(jì)劃任務(wù)出來，可以定時(shí)的輪換值班人員名稱或者定時(shí)執(zhí)行腳本等功能，百度無數(shù)坑之后，終于可以湊合把這套東西部署上。本人英文不好，英文好或者希望深入學(xué)習(xí)或使用的人，建議去參考官方文檔，而且本篇的記錄不一定正確，僅僅實(shí)現(xiàn)crontab 的功能而已。
希望深入學(xué)習(xí)的人可以參考 http://docs.jinkan.org/docs/celery/ 。
首先簡(jiǎn)單介紹一下，Celery 是一個(gè)強(qiáng)大的分布式任務(wù)隊(duì)列，它可以讓任務(wù)的執(zhí)行完全脫離主程序，甚至可以被分配到其他主機(jī)上運(yùn)行。我們通常使用它來實(shí)現(xiàn)異步任務(wù)（async task）和定時(shí)任務(wù)（crontab）。它的架構(gòu)組成如下圖
可以看到，Celery 主要包含以下幾個(gè)模塊：
任務(wù)模塊 Task
包含異步任務(wù)和定時(shí)任務(wù)。其中，異步任務(wù)通常在業(yè)務(wù)邏輯中被觸發(fā)并發(fā)往任務(wù)隊(duì)列，而定時(shí)任務(wù)由 Celery Beat 進(jìn)程周期性地將任務(wù)發(fā)往任務(wù)隊(duì)列。
消息中間件 Broker
Broker，即為任務(wù)調(diào)度隊(duì)列，接收任務(wù)生產(chǎn)者發(fā)來的消息（即任務(wù)），將任務(wù)存入隊(duì)列。Celery 本身不提供隊(duì)列服務(wù)，官方推薦使用 RabbitMQ 和 Redis 等。
任務(wù)執(zhí)行單元 Worker
Worker 是執(zhí)行任務(wù)的處理單元，它實(shí)時(shí)監(jiān)控消息隊(duì)列，獲取隊(duì)列中調(diào)度的任務(wù)，并執(zhí)行它。
任務(wù)結(jié)果存儲(chǔ) Backend
Backend 用于存儲(chǔ)任務(wù)的執(zhí)行結(jié)果，以供查詢。同消息中間件一樣，存儲(chǔ)也可使用 RabbitMQ, Redis 和 MongoDB 等。
異步任務(wù)
使用 Celery 實(shí)現(xiàn)異步任務(wù)主要包含三個(gè)步驟：
創(chuàng)建一個(gè) Celery 實(shí)例
啟動(dòng) Celery Worker
應(yīng)用程序調(diào)用異步任務(wù)
一、快速入門
本地環(huán)境：
OS：centOS6.5
django-1.9
python-2.7.11
celery==3.1.20
django-celery
python、pip、django相關(guān)安裝不在詳寫，直接參考百度即可；
pip install django==1.9 安裝django pip install celery==3.1.20 安裝celery pip install django-celery 安裝django-celery
安裝如果有失敗，所需要的依賴環(huán)境自行解決。例如：mysql-python等；
使用做redis作為消息中間件，安裝redis：
略
二、創(chuàng)建django項(xiàng)目開始測(cè)試
1、創(chuàng)建django 工程 命名為djtest
django-admin.py startproject djtest1
2、創(chuàng)建app 命名為apps
cd djtest python manage.py startapp apps1
3、創(chuàng)建完成后，django 目錄結(jié)構(gòu)如下：
djtest1 ├── apps1 │ ├── admin.py │ ├── apps.py │ ├── init.py │ ├── migrations │ │ └── init.py │ ├── models.py │ ├── tests.py │ └── views.py ├── djtest1 │ ├── init.py │ ├── init.pyc │ ├── settings.py │ ├── settings.pyc │ ├── urls.py │ └── wsgi.py └── manage.py
4、修改setting.py django配置文件，增加如下：
import djcelery ### djcelery.setup_loader() ### CELERY_TIMEZONE='Asia/Shanghai' #并沒有北京時(shí)區(qū)，與下面TIME_ZONE應(yīng)該一致 BROKER_URL='redis://192.168.217.77:16379/8' #任何可用的redis都可以，不一定要在django server運(yùn)行的主機(jī)上 CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' ### INSTALLED_APPS = ( 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.messages', 'django.contrib.staticfiles', 'djcelery', ### 加入djcelery應(yīng)用 'apps1', ### 加入新創(chuàng)建的apps1 ) TIME_ZONE='Asia/Shanghai' ###
開頭增加如上配置文件，根據(jù)實(shí)際情況配置redis的地址和端口，時(shí)區(qū)一定要設(shè)置為 Asia/Shanghai 。否則時(shí)間不準(zhǔn)確回影響定時(shí)任務(wù)的運(yùn)行。
上面代碼首先導(dǎo)出djcelery模塊，并調(diào)用setup_loader方法加載有關(guān)配置；注意配置時(shí)區(qū)，不然默認(rèn)使用UTC時(shí)間會(huì)比東八區(qū)慢8個(gè)小時(shí)。其中INSTALLED_APPS末尾添加兩項(xiàng)，分別表示添加celery服務(wù)和自己定義的apps服務(wù)。
5、編寫celery文件：djtest/djtest/celery.py
#!/bin/python
from __future__ import absolute_import
import os
from celery import Celery
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'djtest1.settings')
#Specifying the settings here means the celery command line program will know where your Django project is.
#This statement must always appear before the app instance is created, which is what we do next:
from django.conf import settings
app = Celery('djtest1')
app.config_from_object('django.conf:settings')
#This means that you don't have to use multiple configuration files, and instead configure Celery directly from the Django settings.
#You can pass the object directly here, but using a string is better since then the worker doesn't have to serialize the object.
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
#With the line above Celery will automatically discover tasks in reusable apps if you define all tasks in a separate tasks.py module.
#The tasks.py should be in dir which is added to INSTALLED_APP in settings.py.
#So you do not have to manually add the individual modules to the CELERY_IMPORT in settings.py.
@app.task(bind=True)
def debug_task(self):
print('Request: {0!r}'.format(self.request)) #dumps its own request information
6、修改djtest1/djtest1/ init .py
#!/bin/python from __future__ import absolute_import # This will make sure the app is always imported when # Django starts so that shared_task will use this app. from .celery import app as celery_app
7、接下來編寫你希望django去完成的app，本文中要編寫的就是在INSTALLED_APPS中注冊(cè)的apps。在celery.py中設(shè)定了對(duì)settings.py中INSTALLED_APPS做autodiscover_tasks，本文希望apps中能夠接受這樣的目錄組織：所有的app都可以放到apps下面，而且每個(gè)app都有獨(dú)立的目錄，就和上面的app1、app2一樣，每個(gè)app各自有各自的 init .py和tasks.py（注意，每個(gè)app都需要 init .py文件，可以是空白的）。但是這樣的結(jié)構(gòu)組織在啟動(dòng)時(shí)會(huì)報(bào)錯(cuò)說module apps找不到。然后在apps下增加了一個(gè) init .py文件，這時(shí)報(bào)錯(cuò)沒了，但是apps下每個(gè)app的tasks.py中的任務(wù)函數(shù)還是無法被django和celery worker找到。
**然后嘗試了在apps1下面寫一個(gè)__init__.py（空白）和task.py，所有的task function都寫到tasks.py中，如下**
from __future__ import absolute_import from celery import task from celery import shared_task #from celery.task import tasks #from celery.task import Task @task() #@shared_task def add(x, y): print "%d + %d = %d"%(x,y,x+y) return x+y #class AddClass(Task): # def run(x,y): # print "%d + %d = %d"%(x,y,x+y) # return x+y #tasks.register(AddClass) @shared_task def mul(x, y): print "%d * %d = %d"%(x,y,x*y) return x*y @shared_task def sub(x, y): print "%d - %d = %d"%(x,y,x-y) return x-y
8、同步數(shù)據(jù)庫
python manage.py makemigrations python manage.py migrate
9、創(chuàng)建超級(jí)用戶
python manage.py createsuperuser Username (leave blank to use 'work'): admin Email address: yyc@taihe.com Password: Password (again): Superuser created successfully.
10、啟動(dòng)django-web、啟動(dòng)celery beat 啟動(dòng) celery worker進(jìn)程
python manage.py runserver 0.0.0.0:8001#啟動(dòng)django的應(yīng)用，可以動(dòng)態(tài)的使用django-admin來管理任務(wù) python manage.py celery beat #應(yīng)該是用來監(jiān)控任務(wù)變化的 python manage.py celery worker -c 6 -l debug #任務(wù)執(zhí)行進(jìn)程，worker進(jìn)程
11、通過django-admin添加已注冊(cè)的任務(wù)，并查看輸出是否正常。
http://192.168.217.77:8001/admin/ 輸入密碼登錄
（1）
登錄后添加任務(wù)：
點(diǎn)擊紅線標(biāo)記的列表，通過add來添加；
（2）
點(diǎn)擊進(jìn)入以后，可以看到已經(jīng)存在的任務(wù)，點(diǎn)擊添加即可；
（3）
按照提示，輸入name，通過task（registered） 選擇已經(jīng)注冊(cè)的函數(shù)服務(wù)。
選擇運(yùn)行模式，阻塞模式，為多長(zhǎng)時(shí)間間隔運(yùn)行一次，或者crontab形式運(yùn)行。
點(diǎn)擊Arguments（show），添加需要傳入注冊(cè)函數(shù)的參數(shù)。
（4）
實(shí)例，具體名稱以及運(yùn)行時(shí)間以及傳入?yún)?shù)等。
（5）
保存之后，可以查看到列表。
（6）在 python manage.py celery worker -c 6 -l debug 啟動(dòng)的窗口可以看到如下的運(yùn)行過程，證明已經(jīng)生效。
第一行紅色標(biāo)記，可以看到注冊(cè)函數(shù)被調(diào)用，第二行紅色標(biāo)記，可以看到函數(shù)的返回值。
到此已經(jīng)基本完成。在實(shí)際運(yùn)用中，我們只需要修改或者添加到tasks.py文件里一些函數(shù)，讓他注冊(cè)到里邊。我們從前臺(tái)django-web寫入任務(wù)，可以使其動(dòng)態(tài)加載到任務(wù)。并且把正確的參數(shù)傳過去，就可以正常執(zhí)行。完成我們所想要的通過這個(gè)django-celery工具制作定期的備份、統(tǒng)一管理的crontab平臺(tái)等。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python判斷回文鏈表,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-01-01
這篇文章主要介紹了python PyTorch預(yù)訓(xùn)練示例,小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-02-02
分布式爬蟲scrapy-redis的實(shí)戰(zhàn)踩坑記錄
最近用scrapy-redis嘗試了分布式爬蟲,使用過程中也遇到了不少問題,下面這篇文章主要給大家介紹了關(guān)于分布式爬蟲scrapy-redis的實(shí)戰(zhàn)踩坑記錄,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-08-08
這篇文章主要給大家介紹了關(guān)于Python中os模塊的簡(jiǎn)單使用及重命名操作的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
python scrapy拆解查看Spider類爬取優(yōu)設(shè)網(wǎng)極細(xì)講解
本篇博客為你帶來 scrapy.Spider 模塊中的相關(guān)函數(shù)與類，帶你再一次認(rèn)識(shí) scrapy 的細(xì)節(jié)。本次采集的目標(biāo)站點(diǎn)為：優(yōu)設(shè)網(wǎng)，有需要的朋友可以借鑒參考下2021-11-11
Python使用Selenium模塊實(shí)現(xiàn)模擬瀏覽器抓取淘寶商品美食信息功能示例
這篇文章主要介紹了Python使用Selenium模塊實(shí)現(xiàn)模擬瀏覽器抓取淘寶商品美食信息功能,涉及Python基于re模塊的正則匹配及selenium模塊的頁面抓取等相關(guān)操作技巧,需要的朋友可以參考下2018-07-07
這篇文章主要介紹了python倒序for循環(huán)實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-05-05
PyTorch?使用torchvision進(jìn)行圖片數(shù)據(jù)增廣
本文主要介紹了PyTorch?使用torchvision進(jìn)行圖片數(shù)據(jù)增廣，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-05-05
在本篇文章里小編給大家整理的是一篇關(guān)于Python制作七夕比心表白代碼詳解內(nèi)容，有需要的朋友們可以學(xué)習(xí)參考下。2021-08-08
解析python 類方法、對(duì)象方法、靜態(tài)方法
這篇文章主要介紹了解析python 類方法、對(duì)象方法、靜態(tài)方法的的相關(guān)資料，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-08-08