Django-celery-beat動態(tài)添加周期性任務實現(xiàn)過程解析
前期準備
1.beat插件安裝
pip3 install django-celery-beat
2.注冊APP
INSTALLED_APPS = [
....
'django_celery_beat',
]
3.數(shù)據(jù)庫變更
python3 manage.py migrate django_celery_beat
配置工作
目錄結構請參考://www.dbjr.com.cn/article/200659.htm
1.配置celerypro.py
from __future__ import absolute_import import os from celery import Celery from django.conf import settings from django.utils import timezone # set the default Django settings module for the 'celery' program. # 為celery設置環(huán)境變量 os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'voice_quality_assurance_configure.settings') # 創(chuàng)建celery app app = Celery('voice_quality_assurance_configure') # Using a string here means the worker will not have to # pickle the object when using Windows. # 從單獨的配置模塊中加載配置 app.config_from_object('voice_quality_assurance_configure.celeryconfig') # 設置app自動加載任務 app.autodiscover_tasks(lambda: settings.INSTALLED_APPS) # 解決時區(qū)問題,定時任務啟動就循環(huán)輸出 app.now = timezone.now
2.配置celeryconfig.py
from __future__ import absolute_import from kombu import Queue from django.conf import settings # 設置代理人broker CELERY_BROKER_URL = 'redis://127.0.0.1:6379/2' # 指定 Backend CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/1' # 指定時區(qū),默認是 UTC CELERY_TIMEZONE='Asia/Shanghai' # celery 序列化與反序列化配置 CELERY_TASK_SERIALIZER = 'pickle' CELERY_RESULT_SERIALIZER = 'pickle' CELERY_ACCEPT_CONTENT = ['pickle', 'json'] CELERY_IGNORE_RESULT = True # celery 的啟動工作數(shù)量設置 CELERY_WORKER_CONCURRENCY = 10 # 任務預取功能,會盡量多拿 n 個,以保證獲取的通訊成本可以壓縮。 CELERYD_PREFETCH_MULTIPLIER = 20 # 有些情況下可以防止死鎖 CELERYD_FORCE_EXECV = True # celery 的 worker 執(zhí)行多少個任務后進行重啟操作 CELERY_WORKER_MAX_TASKS_PER_CHILD = 100 # 禁用所有速度限制,如果網(wǎng)絡資源有限,不建議開足馬力。 CELERY_DISABLE_RATE_LIMITS = True # celery beat配置(周期性任務設置) CELERY_ENABLE_UTC = False CELERY_TIMEZONE = settings.TIME_ZONE DJANGO_CELERY_BEAT_TZ_AWARE = False CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler'
3.分別啟動woker和beta
項目根目錄終端執(zhí)行(voice_quality_assurance_configure為項目名稱,簡單來說,和manage.py文件同級)
celery -A voice_quality_assurance_configure beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler #
啟動beta 調度器使用數(shù)據(jù)庫
celery worker -A voice_quality_assurance_configure --loglevel=info -n worker1 #啟動celery worker
4.創(chuàng)建周期性任務
from datetime import datetime, timedelta import json import os,django os.environ.setdefault("DJANGO_SETTINGS_MODULE", "voice_quality_assurance_configure.settings")# project_name 項目名稱 django.setup() from django_celery_beat.models import PeriodicTask, IntervalSchedule schedule, created = IntervalSchedule.objects.get_or_create(every=10,period=IntervalSchedule.SECONDS,) # 帶參數(shù)的創(chuàng)建方法,如下: PeriodicTask.objects.create( interval=schedule, # 上面創(chuàng)建10秒的間隔 interval 對象 name='test_task', # 設置任務的name值 task='mission.tasks.my_task', # 指定需要周期性執(zhí)行的任務 args=json.dumps([10, 2, 76]), expires=datetime.utcnow() + timedelta(seconds=30) )
詳解創(chuàng)建周期性任務的方法
創(chuàng)建基于interval的周期性任務
第一步創(chuàng)建間隔對象
schedule, created = IntervalSchedule.objects.get_or_create( every=10, period=IntervalSchedule.SECONDS, )
IntervalSchedule.DAYS 固定間隔天數(shù)
IntervalSchedule.HOURS 固定間隔小時數(shù)
IntervalSchedule.MINUTES 固定間隔分鐘數(shù)
IntervalSchedule.SECONDS 固定間隔秒數(shù)
IntervalSchedule.MICROSECONDS 固定間隔微秒
第二步創(chuàng)建任務
無參數(shù)的創(chuàng)建方法:
PeriodicTask.objects.create( interval=schedule, # we created this above. name='test_task', # simply describes this periodic task. task='app名.tasks.任務函數(shù)名', # name of task.)
有參數(shù)的創(chuàng)建方法:
PeriodicTask.objects.create( interval=schedule, # we created this above. name='test'_task', # simply describes this periodic task. task='app名.tasks.任務函數(shù)名', # name of task. args=json.dumps(['arg1', 'arg2']), kwargs=json.dumps({ 'be_careful': True, }), expires=datetime.utcnow() + timedelta(seconds=30) )
class MonitorDeviceTask(object): """ 設備創(chuàng)建,增加周期性任務 """ def __init__(self, device_obj): self.device_obj = device_obj self.periodic_task = PeriodicTask.objects.create( interval=schedule, name='test_task', task='mission.tasks.my_task', args=json.dumps([self.device_obj.ip]) ) def starttask(self): """ 啟動任務 """ self.periodic_task.enabled = True self.periodic_task.save() def stoptask(self): """ 停止任務 """ self.periodic_task.enabled = False self.periodic_task.save() def deltask(self): """ 刪除任務 """ self.periodic_task.delete() self.periodic_task.save()
創(chuàng)建基于 crontab 的周期性任務
from django_celery_beat.models import CrontabSchedule, PeriodicTask schedule, _ = CrontabSchedule.objects.get_or_create( minute='30', hour='*', day_of_week='*', day_of_month='*', month_of_year='*', timezone=pytz.timezone('Canada/Pacific') )
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關文章
基于python實現(xiàn)監(jiān)聽Rabbitmq系統(tǒng)日志代碼示例
這篇文章主要介紹了基于python實現(xiàn)監(jiān)聽Rabbitmq系統(tǒng)日志代碼示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-11-11在python中實現(xiàn)求輸出1-3+5-7+9-......101的和
這篇文章主要介紹了在python中實現(xiàn)求輸出1-3+5-7+9-......101的和,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04從零學python系列之淺談pickle模塊封裝和拆封數(shù)據(jù)對象的方法
這個系列也發(fā)了幾篇文章了,都是個人的一些學習心得的記錄,今天在學習文件數(shù)據(jù)處理的時候了解到有pickle模塊,查找官方文檔學習了一些需要用到的pickle內容。2014-05-05Python的Flask框架標配模板引擎Jinja2的使用教程
Jinja2是Python世界的一款高人氣template engine,是許多開源Web框架的選擇,包括Flask這樣的明星級項目,這里我們就來共同學習Python的Flask框架標配模板引擎Jinja2的使用教程2016-07-07Python?GUI利用tkinter皮膚ttkbootstrap實現(xiàn)好看的窗口
這篇文章主要介紹了Python?GUI利用tkinter皮膚ttkbootstrap實現(xiàn)好看的窗口,文章基于python的相關資料展開詳細的內容介紹,具有一定的參考價值,感興趣的小伙伴可以參考一下2022-06-06