очень долго
Она достает данные из базы и качает файлы которые прикреплены к записям из базые с файлового сервиса и заворачивает в архив в конце
Сейчас такая проблема что, таск убивается системой потому что после некоторого времени, селери начинает жрать дохера оперативы, полагаю что мемори лик где то
Как мне рещить мою проблему?
Может херню скажу т.к. не особо шарю, но как насчёт того, чтобы разделить выполнение таски на несколько частей? Чтобы только после выполнения какой-то части выполнялась следующая без риска перегрузки оперативы.
ну я тоже так думал сделать, по требованию все выкаченные файлы должны быть в 1 архиве, хз как адекватно реализовать, только если не @celery_task def some_task(files: List[str], recrods_range: int) # get data from db in range records_range # download it and add to files list # run some_task.delay(files=files, records_range=records_range + 10)
Имеет причину, разбираться...
Обсуждают сегодня