Всем привет. Использую celery для нужд джанги. Одна таска в

Question

Всем привет. Использую celery для нужд джанги. Одна таска в

цикле дергает другую(https://dpaste.org/MKP3). Кол-во итераций ~1.5к. Проблема в том, что для некоторых offer_platform_id(одних и тех же) внутренние таски просто теряются, т.е. лог на created syncing task пишется, а started syncing task для такого offer_platform_id уже нет, соответствующих записей во flower-e и ожидаемых результатов выполнения таски нет. Грешил на редис в качестве брокера, но с кроликом то же самое. Кто-то сталкивался с подобным? Или может есть идеи, в какую сторону копать можно. Буду благодарен любой помощи

#backend #programming #python #russian

0

03.08.2021

6 ответов

11 просмотров

Егор Сергеев Автор вопроса

Tishka17
а есть прмиеры таких id?

Небольшие, 1769 например, но есть закономерность, что теряются самые последние таски Тоже думал, что из-за большого кол-ва запускаемых тасок что-то переполняется, но уменьшение кол-ва итераций в 2 раза ничего не изменило - также теряются последние айдишники

0

03.08.2021

Илья Власов

Егор Сергеев
Небольшие, 1769 например, но есть закономерность, ...

Может время жизни таски слишком маленькое?

0

03.08.2021

All Cats

к джанге конечно не применимо, но я вместо celery юзаю arq, мне нравится

0

03.08.2021

Егор Сергеев Автор вопроса