У меня на проекте есть таска в селери которая соединяется

Question

У меня на проекте есть таска в селери которая соединяется

с 1c и забирает из нее какие-то данные. Эти данные заносятся в локальную БД. Таска задана периодически через расписание beat. Проблема в том что возможна "накатка" этой таски - например таска T1 по каким-то причинам не успела отработать до запуска следующей таски T2 и T2 может попытаться обработать те же данные что и T1 и вообще здесь гонка данных получается. Решений несколько:
1 Локи. Например через редис. Плохой вариант, потому что гипотетически у нас может скопиться пачка таких тасков и beat нам будет еще дозакидывать следующие. Все будет еще хуже если эта таска принимает какие-то параметры.
2 Вариант к которому в свое время пришел я - таска запускает саму себя. Что-то вроде
def task_wrapper():
main_task.delay(link=task_wrapper)
Какие еще идеи?

причем во втором случае у нас не периодическая работа и beat нам не нужен. Но нужно позаботиться о том чтобы таск был "бессмертным" - неважно, если он упадет, всегда в очереди должен быть хотя бы один его инстас.

На самом деле если продолжить рассуждение, то получается фоновый сервис, вероятно интегрированный с systemd. Потому что нам нужен какой-то watchdog, который будет его поднимать, если он упадет.

#backend #programming #python #russian

0

10.08.2022

1 ответов

11 просмотров

evle · Accepted Answer

evle

А таска такая одна в каждый момент времени или параллельно что-то ещё происходит? Я про то, что нужен ли тут вообще селери?

0

10.08.2022

170 похожих чатов

У меня на проекте есть таска в селери которая соединяется

1 ответов

Похожие вопросы