параллельно примерно 1000 асинхронных задач через celery. задачи характера (запросить с апишки объекта). Есть ли способ как-то наплодить штук 10 воркеров celery и каждому из них выдать по 100 задач в работу?
или это дичь и то же самое можно сделать через треды?
Работу они берут из очереди. Количество потоков там определяется через параметр concurrency. Но есть рекомендации по ее размеру учитывая кол-во ядер
а целери вообще разве умеет из коробки асинхронно? конкуретно - да, но вот асинхронно...
конкурентно, да
Обсуждают сегодня