Django celery實現(xiàn)異步任務(wù)操作,并在后臺運行(守護進程)
沒廢話，直接上代碼。
環(huán)境說明：
python3.6
django2.0.5
我們使用redis的作為celery任務(wù)隊列，有一個合成包可以直接安裝兩者一起使用需要的安裝包
直接在終端鍵入
pip install celery-with-redis
就可以安裝需要的依賴包了
構(gòu)建項目過程略過，直接開始進行celery配置
一、celery配置。
我們的項目名稱為myproject，首先setting配置，添加
# celery settings # celery中間人 redis://redis服務(wù)所在的ip地址:端口/數(shù)據(jù)庫號 BROKER_URL = 'redis://localhost:6379/3' # celery結(jié)果返回，可用于跟蹤結(jié)果 CELERY_RESULT_BACKEND = 'redis://localhost:6379/3' # celery內(nèi)容等消息的格式設(shè)置 CELERY_ACCEPT_CONTENT = ['application/json', ] CELERY_TASK_SERIALIZER = 'json' CELERY_RESULT_SERIALIZER = 'json' # celery時區(qū)設(shè)置，使用settings中TIME_ZONE同樣的時區(qū) CELERY_TIMEZONE = TIME_ZONE
然后在PATH/myproject/myproject/即setting的同級目錄下創(chuàng)建celery.py，初始化celery。
from __future__ import absolute_import, unicode_literals
from celery import Celery
from django.conf import settings
import os
# 獲取當前文件夾名，即為該Django的項目名
project_name = os.path.split(os.path.abspath('.'))[-1]
project_settings = '%s.settings' % project_name
# 設(shè)置環(huán)境變量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', project_settings)
# 實例化Celery
app = Celery(project_name)
# 使用django的settings文件配置celery
app.config_from_object('django.conf:settings')
# Celery加載所有注冊的應(yīng)用
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
這里第一行輸入不能換位置，只能在首行，否則會報錯。
這里的實例化celery的app我們在別處要導(dǎo)入，為了方便導(dǎo)入，我們把它放到__init__.py里，所以在/myproject/myproject/__init__.py我們加入
from __future__ import absolute_import, unicode_literals # 引入celery實例對象 from .celery import app as celery_app
這樣同時也能告知django celery.py文件的存在。
二、用celery裝飾我們的需要進行的異步函數(shù)。
我們在項目根目錄下創(chuàng)建celery_tasks模塊，即在PATH/myproject/下創(chuàng)建該模塊，然后在該模塊下創(chuàng)建tasks.py，把我們的耗時程序?qū)戇M去。
from myproject import celery_app
import time
@celery_app.task
def time_consuming_fun():
for i in range(5):
time.sleep(1)
print(i)
return 'ok'
直接用我們的celery_app下的task方法裝飾需要進行異步處理的函數(shù)即可。
三、調(diào)用異步函數(shù)。
在view中調(diào)用，這里用的是Django的類視圖。
from celery_tasks.tasks import time_consuming_fun
from django.views import View
from django.http import JsonResponse
# Create your views here.
class MyView(View):
def get(self,request):
#異步調(diào)用
time_consuming_fun.delay()
#直接調(diào)用
#time_consuming_fun()
return JsonResponse({'msg':'ok','code':200})
配置好url即可。
四、啟動celery。
在項目根目錄下，即managy同級文件目錄下，輸入命令：
celery -A myproject worker -l info
此時celery在終端窗口運行，關(guān)閉終端celery就會停止。
輸入命令
celery multi start w1 -A myproject -l info --logfile = celerylog.log --pidfile = celerypid.pid
此時celery為守護進程，日志記錄在celerylog.log里。
日志文件可以指定路徑PATH/celerylog.log，此時會在指定路徑下創(chuàng)建日志文件。進程號文件類似。
停止或重啟將開始換為stop或restart即可，所以需記錄w1，即需記錄woker的名稱來方便重啟和停止。
補充：Django項目后臺不掛斷運行
方法一：
1、進入項目目錄下，運行下面程序：
nohup python manage.py runserver 0.0.0.0:5008 &
nohup(no hang up)用途：不掛斷的運行命令
&用途：在后臺運行
nohup /root/start.sh &
在shell中回車后提示：
[~]$ appending output to nohup.out
原程序的的標準輸出被自動改向到當前目錄下的nohup.out文件，起到了log的作用。
注意：在nohup執(zhí)行成功后直接點擊關(guān)閉程序按鈕關(guān)閉終端，會斷掉該命令對應(yīng)的session，導(dǎo)致nohup對應(yīng)的進程被通知一起shutdown。所以在使用nohup命令后臺運行命令之后，需要使用exit正常退出當前賬戶，這樣才能保證命令一直在后臺運行。
方法二：這個比較高級，使用screen
1、安裝screen
yum install -y screen
2、新建一個screen
screen -S xiedi
這樣會新開一個窗口，然后執(zhí)行命令即可
python manage.py runserver 0.0.0.0:9000
3、重開一個窗口，列出所有screen進程，如下
[root@docker ~]# screen -ls
There are screens on:
3029.xiedi (Attached)
4、如果想鏈接上這個會話，執(zhí)行命令即可
screen -r 3029
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
Pytest單元測試框架生成HTML測試報告及優(yōu)化的步驟
本文主要介紹了Pytest單元測試框架生成HTML測試報告及優(yōu)化的步驟，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
這篇文章主要為大家詳細介紹了學生信息管理系統(tǒng)python版，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-10-10
這篇文章主要介紹了Python實現(xiàn)性能自動化測試的方法，本文圖文并茂通過實例代碼相結(jié)合的形式給大家介紹的非常詳細，具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-07-07
迭代器工具在產(chǎn)生數(shù)據(jù)的時候?qū)@得非常便捷、高效，掌握了這些基本的方法之后，通過簡單的組合就可以獲得更多迭代器工具。2016-05-05
這篇文章主要給大家介紹了關(guān)于如何利用Python將圖片中扭曲矩形復(fù)原的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
在Python編程中,去除字符串標點符號是一項常見任務(wù),關(guān)鍵在于文本分析和數(shù)據(jù)清洗,Python提供了多種方法,包括使用str.replace()、str.translate()結(jié)合str.maketrans(),以及使用正則表達式,另外,可以利用string模塊中的punctuation屬性快速實現(xiàn)2024-09-09
Python面向?qū)ο笾蓄悾╟lass）的簡單理解與用法分析
這篇文章主要介紹了Python面向?qū)ο笾蓄悾╟lass）的簡單理解與用法,結(jié)合實例形式分析了Python面向?qū)ο蟪绦蛟O(shè)計中類（class）的基本概念、原理、定義與使用方法,需要的朋友可以參考下2020-02-02
Python使用SQLAlchemy操作Mysql數(shù)據(jù)庫的操作示例
SQLAlchemy是Python的SQL工具包和對象關(guān)系映射（ORM）庫,它提供了全套的企業(yè)級持久性模型,用于高效、靈活且優(yōu)雅地與關(guān)系型數(shù)據(jù)庫進行交互,這篇文章主要介紹了Python使用SQLAlchemy操作Mysql數(shù)據(jù)庫,需要的朋友可以參考下2024-08-08
Windows系統(tǒng)下cython_bbox庫的正確安裝步驟
Cython-bbox一般無法直接通過pip直接安裝,那么如何安裝呢?下面這篇文章主要給大家介紹了關(guān)于Windows系統(tǒng)下cython_bbox庫的正確安裝步驟,文中通過圖文介紹的非常詳細,需要的朋友可以參考下2023-05-05
在Python中如何優(yōu)雅地創(chuàng)建表格的實現(xiàn)
本文主要介紹了在Python中如何優(yōu)雅地創(chuàng)建表格的實現(xiàn)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01