使用Celery和Docker处理Django中的定期任务

在构建和扩展Django应用程序时,不可避免地需要定期在后台自动运行某些任务。

一些例子:

生成定期报告
清除缓存
发送批量电子邮件通知
执行每晚维护工作
这是构建和扩展不属于Django核心的Web应用程序所需的少数功能之一。幸运的是,Celery提供了一个强大的解决方案,该解决方案非常容易实现,称为Celery Beat。

在下面的文章中,我们将向您展示如何使用Docker设置Django,Celery和Redis,以便通过Celery Beat定期运行自定义Django Admin命令。

依存关系:

Django v3.0.5
Docker v19.03.8
Python v3.8.2
芹菜v4.4.1
Redis v5.0.8
Django + Celery系列:

Django和Celery的异步任务
使用Celery和Docker处理Django中的定期任务(本文!)
目标
在本教程结束时,您应该能够:

使用Docker容器化Django,Celery和Redis
将Celery集成到Django应用中并创建任务
编写自定义Django Admin命令
安排自定义Django Admin命令以通过Celery Beat定期运行
项目设置
从django-celery-beat存储库中克隆基础项目,然后签出基础分支:

由于我们总共需要管理四个流程(Django,Redis,worker和Scheduler),因此我们将使用Docker通过连接起来简化它们的工作流程,从而使它们都可以通过一个命令从一个终端窗口运行 。

从项目根目录创建映像,并启动Docker容器:

构建完成后,导航至http:// localhost:1337以确保该应用程序能够按预期运行。 您应该看到以下文本:

项目结构:

Celery和Redis
现在,我们需要为Celery,Celery Beat和Redis添加容器。

首先,将依赖项添加到requirements.txt文件中:

docker-compose.yml 文件内容:

我们还需要更新Web服务的depends_on部分:

完整的docker-compose文件如下:

在构建新容器之前,我们需要在Django应用中配置Celery。

芹菜配置
设定
在“核心”目录中,创建一个celery.py文件并添加以下代码:

这里发生了什么事?

首先,我们为DJANGO_SETTINGS_MODULE环境变量设置一个默认值,以便Celery知道如何找到Django项目。
接下来,我们创建了一个名称为core的新Celery实例,并将该值分配给名为app的变量。
然后,我们从django.conf的settings对象中加载了celery配置值。 我们使用namespace =“ CELERY”来防止与其他Django设置发生冲突。 换句话说,Celery的所有配置设置必须以CELERY_为前缀。
最后,app.autodiscover_tasks()告诉Celery从settings.INSTALLED_APPS中定义的应用程序中查找Celery任务。
将以下代码添加到core / __ init__.py:

最后,使用以下Celery设置更新core / settings.py文件,使其可以连接到Redis:

build:

查看日志:

如果一切顺利,我们现在有四个容器,每个容器提供不同的服务。

现在,我们准备创建一个示例任务,以查看其是否可以正常工作。

创建一个任务
创建一个新文件core / tasks.py并为仅打印到控制台的示例任务添加以下代码:

安排任务
在settings.py文件的末尾,添加以下代码,以使用Celery Beat将sample_task安排为每分钟运行一次:

在这里,我们使用CELERY_BEAT_SCHEDULE设置定义了定期任务。 我们给任务命名了sample_task,然后声明了两个设置:

任务声明要运行的任务。
时间表设置任务应运行的时间间隔。 这可以是整数,时间增量或crontab。 我们在任务中使用了crontab模式,告诉它每分钟运行一次。 您可以在此处找到有关Celery日程安排的更多信息。
确保添加导入:

重启容器,应用变更:

查看日志:

我们可以看到Celery获得了示例任务core.tasks.sample_task。

每分钟,您应该在日志中看到一行以“示例任务刚刚运行”结尾的行:

自定义Django Admin命令
Django提供了许多内置的django-admin命令,例如:

迁移
启动项目
startapp
转储数据
移民
除了内置命令,Django还为我们提供了创建自己的自定义命令的选项:

自定义管理命令对于运行独立脚本或从UNIX crontab或Windows计划任务控制面板定期执行的脚本特别有用。

因此,我们将首先配置一个新命令,然后使用Celery Beat自动运行它。

首先创建一个名为orders / management / commands / my_custom_command.py的新文件。 然后,添加运行它所需的最少代码:

BaseCommand有一些可以被覆盖的方法,但是唯一需要的方法是handle。 handle是自定义命令的入口点。 换句话说,当我们运行命令时,将调用此方法。

为了进行测试,我们通常只添加一个快速打印语句。 但是,建议根据Django文档使用stdout.write代替:

当您使用管理命令并希望提供控制台输出时,应该写入self.stdout和self.stderr,而不是直接打印到stdout和stderr。 通过使用这些代理,测试自定义命令变得更加容易。 另请注意,您无需以换行符结束消息,除非您指定结束参数,否则它将自动添加。

因此,添加一个self.stdout.write命令:

测试:

这样,让我们将所有内容捆绑在一起!

使用Celery Beat安排自定义命令
现在我们已经启动并运行了容器,已经过测试,可以安排任务定期运行,并编写了自定义的Django Admin示例命令,现在该进行设置以定期运行自定义命令了。

设定
在项目中,我们有一个非常基本的应用程序,称为订单。 它包含两个模型,产品和订单。 让我们创建一个自定义命令,该命令从当天发送确认订单的电子邮件报告。

首先,我们将通过此项目中包含的夹具将一些产品和订单添加到数据库中:

创建超级用户:

出现提示时,请填写用户名,电子邮件和密码。 然后在您的Web浏览器中导航到http://127.0.0.1:1337/admin。 使用您刚创建的超级用户登录,并创建几个订单。 确保至少有一个日期为今天。

让我们为我们的电子邮件报告创建一个新的自定义命令。

创建一个名为orders / management / commands / email_report.py的文件:

在代码中,我们向数据库查询了日期为Confirmed_date的订单,将订单合并为电子邮件正文的单个消息,然后使用Django内置的mail_admins命令将电子邮件发送给管理员。

添加一个虚拟管理员电子邮件,并将EMAIL_BACKEND设置为使用控制台后端,以便将该电子邮件发送到设置文件中的stdout:

运行:

Celery Beat

现在,我们需要创建一个定期任务来每天运行此命令。

向core / tasks.py添加一个新任务:

因此,首先我们添加了一个call_command导入,该导入用于以编程方式调用django-admin命令。 在新任务中,然后将call_command与自定义命令的名称一起用作参数。

要安排此任务,请打开core / settings.py文件,并更新CELERY_BEAT_SCHEDULE设置以包括新任务。

在这里,我们向CELERY_BEAT_SCHEDULE添加了一个名为send_email_report的新条目。 正如我们对上一个任务所做的那样,我们声明了该任务应运行的任务-例如core.tasks.send_email_report-并使用crontab模式设置重复性。

重新启动容器,以确保新设置处于活动状态:

一分钟后邮件发出:

结论
在本文中,我们指导您为Celery,Celery Beat和Redis设置Docker容器。 然后,我们展示了如何使用Celery Beat创建自定义Django Admin命令和定期任务以自动运行该命令。

原文:https://testdriven.io/blog/django-celery-periodic-tasks/