异步任务队列Celery在Django中的使用方法资源-CSDN下载

celery

django

91 浏览量 2021-01-20 05:16:06 上传评论收藏 323KB PDF 举报

资源推荐

资源详情

资源评论

异步任务队列异步任务队列Celery在在Django中的使用方法中的使用方法

前段时间在Django Web平台开发中，碰到一些请求执行的任务时间较长（几分钟），为了加快用户的响应时间，因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异

步任务队列框架，鉴于网上关于Celery和Django结合的文档较少，大部分也只是粗粗介绍了大概的流程，在实践过程中还是遇到了不少坑，希望记录下来帮助有需要的朋友。

一、一、Django中的异步请求中的异步请求

Django Web中从一个http请求发起，到获得响应返回html页面的流程大致如下：http请求发起 — http handling（request解析） — url mapping（url正则匹配找到对应的View） — 在View中进行逻辑的处

理、数据计算（包括调用Model类进行数据库的增删改查）–将数据推送到template，返回对应的template/response。

图1. Django架构总览

同步请求：所有逻辑处理、数据计算任务在View中处理完毕后返回response。在View处理任务时用户处于等待状态，直到页面返回结果。

异步请求：View中先返回response，再在后台处理任务。用户无需等待，可以继续浏览网站。当任务处理完成时，我们可以再告知用户。

二、关于二、关于Celery

Celery是基于Python开发的一个分布式任务队列框架，支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。

图2. Celery架构

图2展示的是Celery的架构，它采用典型的生产生-消费者模式，主要由三部分组成：broker（消息队列）、workers（消费者：处理任务）、backend（存储结果）。实际应用中，用户从Web前端发起一

个请求，我们只需要将请求所要处理的任务丢入任务队列broker中，由空闲的worker去处理任务即可，处理的结果会暂存在后台数据库backend中。我们可以在一台机器或多台机器上同时起多个worker进

程来实现分布式地并行处理任务。

三、三、Django中中Celery的实现的实现

在实际使用过程中，发现在Celery在Django里的实现与其在一般.py文件中的实现还是有很大差别，Django有其特定的使用Celery的方式。这里着重介绍Celery在Django中的实现方法，简单介绍与其在一

般.py文件中实现方式的差别。

1. 建立消息队列

首先，我们必须拥有一个broker消息队列用于发送和接收消息。Celery官网给出了多个broker的备选方案：RabbitMQ、Redis、Database（不推荐）以及其他的消息中间件。在官网的强力推荐下，我们

就使用RabbitMQ作为我们的消息中间人。在Linux上安装的方式如下：

sudo apt-get install rabbitmq-server

命令执行成功后，rabbitmq-server就已经安装好并运行在后台了。

另外也可以通过命令rabbitmq-server来启动rabbitmq server以及命令rabbitmqctl stop来停止server。

更多的命令可以参考rabbitmq官网的用户手册：https://www.rabbitmq.com/manpages.html

2. 安装django-celery

pip install celery

pip install django-celery

3. 配置settings.py

首先，在Django工程的settings.py文件中加入如下配置代码：

import djcelery

djcelery.setup_loader()

BROKER_URL= 'amqp://guest@localhost//'

CELERY_RESULT_BACKEND = 'amqp://guest@localhost//'

其中，当djcelery.setup_loader()运行时，Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件，找到标记为task的方法，将它们注册为celery task。BROKER_URL和

CELERY_RESULT_BACKEND分别指代你的Broker的代理地址以及Backend（result store）数据存储地址。在Django中如果没有设置backend，会使用其默认的后台数据库用来存储数据。注意，此处

backend的设置是通过关键字CELERY_RESULT_BACKEND来配置，与一般的.py文件中实现celery的backend设置方式有所不同。一般的.py中是直接通过设置backend关键字来配置，如下所示：

app = Celery('tasks', backend='amqp://guest@localhost//', broker='amqp://guest@localhost//')

然后，在INSTALLED_APPS中加入djcelery：

INSTALLED_APPS = (

……

'qv',

'djcelery'

……

)

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

评论收藏

内容反馈

weixin_38650629

粉丝: 4

异步任务队列Celery在Django中的使用方法

Django使用Celery异步任务队列的使用

Django异步任务之Celery的基本使用

Django Celery异步任务队列的实现

详解django+django-celery+celery的整合实战

Django使用Celery完成异步任务，定时任务.zip

Django 结合 Celery 实现异步任务处理和定时任务

django+celery异步发送邮件

Django中使用Celery的方法步骤

Django中使用Celery的方法示例

使用Celery的Django异步信号处理。_Python_下载.zip

基于Django+Celery队列实现的集中化异步任务调度系统，

Python-djangoceleryses带有AWSSES和Celery的Django邮件后端

django_celery_demo

基于Django+Celery队列的集中式异步任务调度系统可以快速应用于任何Djang

django中使用Celery 布式任务队列过程详解

Python Celery异步任务队列使用方法解析

Python-django的celery和redis简单示例项目

使用celery和Django处理异步任务的流程分析

django+celery+redis+supervisor教程代码

django-celery

Django中使用celery完成异步任务的示例代码

Es学习总结说明书

cheatsheets:日常任务的命令参考

最新资源