170 похожих чатов

Всем привет гайз, есть вопросик. Вот есть у меня селери таска,

которая отправляет сообщения юзерам.
Сейчас он у меня запускается каждые 10 секунд чтобы проверить очередь и обработать запросы если в очереди что то есть.

Теперь проблема.
У меня получается так что, за 10 секунд селери не успевает обратотать все запросы, и запускает новый таск sendMail
И берет те запросы из очереди которые уже обрабаотываются предыдущим запустившимся процессом.
Получается что 1 запрос обрабаотывается 2-3 раза...

Как можно сделать, чтобы селери таска блокалась, пока предыдущая запущенная не отработает полностбю?

17 ответов

8 просмотров

хранить где-нибудь лок? смотреть, если он есть, просто выходить, следующая таска попробует еще раз, если уж они так часто запускаются я бы еще обернул в try/except и в finally снимал этот лок. ну и на всякий случай добавлял к нему timestamp, чтобы он гарантированно протухал через какое-то время (это перестраховка, конечно, но мало ли как упадет процесс, может возникнуть ситуация, что лок не отпустится)

прочитай про примитивы синхронизации

https://docs.python.org/3/library/asyncio-sync.html

Может запускать не через время, а чтобы по завершении таск сам себя запускал с отложкой на 10 сек? Я так делал

Можно попробовать с вот этим попердолиться https://docs.celeryproject.org/en/stable/userguide/tasks.html#Task.rate_limit

Но вообще выглядит так, будто celery тебе здесь вообще не нужен: простенький сервис, который сообщения берет из очереди должен с этим справиться.

〽️𝔢𝔦𝔢𝔯
https://docs.python.org/3/library/asyncio-sync.htm...

При чем тут асинк? И зачем лочить? Ведь самый простой способ синхронизации это чтобы все работало в одном процессе/потоке. The best way to synchronize data is to put them in a one thread. Т.е. у него просто один скрипт который сам себя запускает. Как я это вижу.

Kel0- Автор вопроса
Роман
Но вообще выглядит так, будто celery тебе здесь во...

там кроме отправки сообщений, много других тасков живут, надо все асинхронно выполнять А селери для этого отлично подходит думаю

Kel0
там кроме отправки сообщений, много других тасков ...

Он советует тебе микросервис создать. Фактически аналог моего совета поместить все в один воркер, что тоже хорошая идея.

Alex
При чем тут асинк? И зачем лочить? Ведь самый прос...

есть у тебя асинхронные таски в очередь становятся, то тебя поток не спасет

Kel0
там кроме отправки сообщений, много других тасков ...

ну про другие таски ничего не могу сказать, кроме того, что если у тебя масшатиборования нет, то от celery не то, чтобы много толку, конкретно эту задачу проще тебе будет засунуть в отдельный сервис и пускай крутится.

Alex
чо?

воркер один на конкретный вид таски спасет. А если несколько воркеров достают из очереди которая пополняется каждые 10 секунд, то ты сам должен понимать что будет

Alex
Он советует тебе микросервис создать. Фактически а...

ну "микросервис" испохабленное слово, но смысл такой, да.

〽️𝔢𝔦𝔢𝔯
воркер один на конкретный вид таски спасет. А если...

Ты вообще читал что я написал? Ты создаешь таск который делает что-то (разгребает задачи) и по окончании ставит себя в очередь на выполнение. Всё. Не будет никакой гонки.

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
32
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
1
Hey there Which is the best Linux destro for developers (coding)? To my research on reddit, they said Linux mint is good for mid level spec and Ubuntu for high Lev hardwar...
Wiz 🪄
11
Подскажите пожалуйста, а я могу вот такую штуку использовать? rpc, только реализованное в реббите https://www.rabbitmq.com/tutorials/tutorial-six-php ( или https://habr.com/ru...
Artyom
11
И ещё вопрос: можно ли типа как на дос как-то запариться и с помощью прерываний выводить текст, вместо функции printf ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
34
а мы ещё не созрели до того, чтобы создать отдельный чатик про настройку редакторов?
Cheese Syrowiecki
16
Всем привет! У меня почему-то по-разному отображается TListView в Debug и Release режимах (FireMonkey)! При запуске под Win приложения TListView заливается программо. в Debug ...
Александр COM
8
Карта сайта