欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Django配置celery(非djcelery)執(zhí)行異步任務(wù)和定時任務(wù)

 更新時間:2018年07月16日 08:35:14   作者:運(yùn)維咖啡吧  
這篇文章主要介紹了Django配置celery(非djcelery)執(zhí)行異步任務(wù)和定時任務(wù),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧

所有演示均基于Django2.0

celery是一個基于python開發(fā)的簡單、靈活且可靠的分布式任務(wù)隊列框架,支持使用任務(wù)隊列的方式在分布式的機(jī)器/進(jìn)程/線程上執(zhí)行任務(wù)調(diào)度。采用典型的生產(chǎn)者-消費(fèi)者模型,主要由三部分組成:

  • 消息隊列broker:broker實(shí)際上就是一個MQ隊列服務(wù),可以使用redis、rabbitmq等作為broker
  • 處理任務(wù)的消費(fèi)者workers:broker通知worker隊列中有任務(wù),worker去隊列中取出任務(wù)執(zhí)行,每一個worker就是一個進(jìn)程
  • 存儲結(jié)果的backend:執(zhí)行結(jié)果存儲在backend,默認(rèn)也會存儲在broker使用的MQ隊列服務(wù)中,也可以單獨(dú)配置用何種服務(wù)做backend

異步任務(wù)

我的異步使用場景為項目上線:前端web上有個上線按鈕,點(diǎn)擊按鈕后發(fā)請求給后端,后端執(zhí)行上線過程要5分鐘,后端在接收到請求后把任務(wù)放入隊列異步執(zhí)行,同時馬上返回給前端一個任務(wù)執(zhí)行中的結(jié)果。若果沒有異步執(zhí)行會怎么樣呢?同步的情況就是執(zhí)行過程中前端一直在等后端返回結(jié)果,頁面轉(zhuǎn)呀轉(zhuǎn)的就轉(zhuǎn)超時了。

異步任務(wù)配置

1.安裝rabbitmq,這里我們使用rabbitmq作為broker,安裝完成后默認(rèn)啟動了,也不需要其他任何配置

# apt-get install rabbitmq-server

2.安裝celery

# pip3 install celery

3.celery用在django項目中,django項目目錄結(jié)構(gòu)(簡化)如下

website/
|-- deploy
|  |-- admin.py
|  |-- apps.py
|  |-- __init__.py
|  |-- models.py
|  |-- tasks.py
|  |-- tests.py
|  |-- urls.py
|  `-- views.py
|-- manage.py
|-- README
`-- website
  |-- celery.py
  |-- __init__.py
  |-- settings.py
  |-- urls.py
  `-- wsgi.py

4.創(chuàng)建 website/celery.py 主文件

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'website.settings')

app = Celery('website')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#  should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

# 允許root 用戶運(yùn)行celery
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
  print('Request: {0!r}'.format(self.request))

5.在 website/__init__.py 文件中增加如下內(nèi)容,確保django啟動的時候這個app能夠被加載到

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

6.各應(yīng)用創(chuàng)建tasks.py文件,這里為 deploy/tasks.py

from __future__ import absolute_import
from celery import shared_task

@shared_task
def add(x, y):
  return x + y

注意tasks.py必須建在各app的根目錄下,且只能叫tasks.py,不能隨意命名

7.views.py中引用使用這個tasks異步處理

from deploy.tasks import add

def post(request):
  result = add.delay(2, 3)
result.ready()
result.get(timeout=1)
result.traceback

8.啟動celery

# celery -A website worker -l info

9.這樣在調(diào)用post這個方法時,里邊的add就可以異步處理了

定時任務(wù)

定時任務(wù)的使用場景就很普遍了,比如我需要定時發(fā)送報告給老板~

定時任務(wù)配置

1. website/celery.py 文件添加如下配置以支持定時任務(wù)crontab

from celery.schedules import crontab

app.conf.update(
  CELERYBEAT_SCHEDULE = {
    'sum-task': {
      'task': 'deploy.tasks.add',
      'schedule': timedelta(seconds=20),
      'args': (5, 6)
    }
    'send-report': {
      'task': 'deploy.tasks.report',
      'schedule': crontab(hour=4, minute=30, day_of_week=1),
    }
  }
)

定義了兩個task:

  • 名字為'sum-task'的task,每20秒執(zhí)行一次add函數(shù),并傳了兩個參數(shù)5和6
  • 名字為'send-report'的task,每周一早上4:30執(zhí)行report函數(shù)

timedelta是datetime中的一個對象,需要 from datetime import timedelta 引入,有如下幾個參數(shù)

  • days
  • seconds
  • microseconds
  • milliseconds
  • minutes
  • hours

crontab的參數(shù)有:

month_of_year
day_of_month
day_of_week
hour
minute

2. deploy/tasks.py 文件添加report方法:

@shared_task
def report():
  return 5

3.啟動celery beat,celery啟動了一個beat進(jìn)程一直在不斷的判斷是否有任務(wù)需要執(zhí)行

# celery -A website beat -l info

Tips

1.如果你同時使用了異步任務(wù)和計劃任務(wù),有一種更簡單的啟動方式 celery -A website worker -b -l info ,可同時啟動worker和beat

2.如果使用的不是rabbitmq做隊列那么需要在主配置文件中 website/celery.py 配置broker和backend,如下:

# redis做MQ配置
app = Celery('website', backend='redis', broker='redis://localhost')
# rabbitmq做MQ配置
app = Celery('website', backend='amqp', broker='amqp://admin:admin@localhost')

3.celery不能用root用戶啟動的話需要在主配置文件中添加 platforms.C_FORCE_ROOT = True

4.celery在長時間運(yùn)行后可能出現(xiàn)內(nèi)存泄漏,需要添加配置 CELERYD_MAX_TASKS_PER_CHILD = 10 ,表示每個worker執(zhí)行了多少個任務(wù)就死掉

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • python使用BeautifulSoup與正則表達(dá)式爬取時光網(wǎng)不同地區(qū)top100電影并對比

    python使用BeautifulSoup與正則表達(dá)式爬取時光網(wǎng)不同地區(qū)top100電影并對比

    這篇文章主要給大家介紹了關(guān)于python使用BeautifulSoup與正則表達(dá)式爬取時光網(wǎng)不同地區(qū)top100電影并對比的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-04-04
  • Python中如何快速解析JSON對象數(shù)組

    Python中如何快速解析JSON對象數(shù)組

    由于瀏覽器可以迅速地解析JSON對象,它們有助于在客戶端和服務(wù)器之間傳輸數(shù)據(jù),本文將描述如何使用Python的JSON模塊來傳輸和接收J(rèn)SON數(shù)據(jù)
    2023-09-09
  • Python實(shí)現(xiàn)一個簡單三層神經(jīng)網(wǎng)絡(luò)的搭建及測試 代碼解析

    Python實(shí)現(xiàn)一個簡單三層神經(jīng)網(wǎng)絡(luò)的搭建及測試 代碼解析

    一個完整的神經(jīng)網(wǎng)絡(luò)一般由三層構(gòu)成:輸入層,隱藏層(可以有多層)和輸出層。本文所構(gòu)建的神經(jīng)網(wǎng)絡(luò)隱藏層只有一層。一個神經(jīng)網(wǎng)絡(luò)主要由三部分構(gòu)成(代碼結(jié)構(gòu)上):初始化,訓(xùn)練,和預(yù)測。,需要的朋友可以參考下面文章內(nèi)容的具體內(nèi)容
    2021-09-09
  • python單例模式的多種實(shí)現(xiàn)方法

    python單例模式的多種實(shí)現(xiàn)方法

    這篇文章主要介紹了python單例模式的多種實(shí)現(xiàn)方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-07-07
  • python實(shí)現(xiàn)炫酷屏幕保護(hù)的示例代碼

    python實(shí)現(xiàn)炫酷屏幕保護(hù)的示例代碼

    這篇文章主要為大家詳細(xì)介紹了如何利用python實(shí)現(xiàn)炫酷屏幕保護(hù)效果,文中的示例代碼講解詳細(xì),具有一定的學(xué)習(xí)價值,感興趣的小伙伴可以跟隨小編一起了解一下
    2023-12-12
  • 深入了解Python中frozenset的功能與用法

    深入了解Python中frozenset的功能與用法

    在Python中,frozenset是一種與set類似的數(shù)據(jù)類型,但具有不可變性,本文將詳細(xì)介紹frozenset的作用、用法以及與set的區(qū)別,感興趣的可以了解下
    2024-01-01
  • python實(shí)現(xiàn)廣度優(yōu)先搜索過程解析

    python實(shí)現(xiàn)廣度優(yōu)先搜索過程解析

    這篇文章主要介紹了python實(shí)現(xiàn)廣度優(yōu)先搜索過程解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-10-10
  • Python中作用域的深入講解

    Python中作用域的深入講解

    這篇文章主要給大家介紹了關(guān)于Python中作用域的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2018-12-12
  • 用Python生成器實(shí)現(xiàn)微線程編程的教程

    用Python生成器實(shí)現(xiàn)微線程編程的教程

    這篇文章主要介紹了用Python生成器實(shí)現(xiàn)微線程編程的教程,本文來自于IBM官方開發(fā)者技術(shù)文檔,需要的朋友可以參考下
    2015-04-04
  • python實(shí)現(xiàn)根據(jù)指定字符截取對應(yīng)的行的內(nèi)容方法

    python實(shí)現(xiàn)根據(jù)指定字符截取對應(yīng)的行的內(nèi)容方法

    今天小編就為大家分享一篇python實(shí)現(xiàn)根據(jù)指定字符截取對應(yīng)的行的內(nèi)容方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-10-10

最新評論