Привет, коллеги! Помогите подступиться к проблеме :) Есть такая задача: написать

Question

Привет, коллеги! Помогите подступиться к проблеме :) Есть такая задача: написать

бэкенд для расчётного модуля.

Расчётный модуль - синхронный CPU-bound скрипт, написанный на Питоне, бэк хочется писать так же на Питоне. По ТЗ нужно гарантировать обработку до десяти запросов одновременно на машине с 10-тиядерным процессором (на каждый запрос до минуты времени обработки, время работы модуля гарантированно до минуты), на которой помимо бэка и расчётного модуля должна крутиться PostgreSQL.

Как в таком случае стоит организовать взаимодействие между бэком и расчётным модулем? Стоит ли делать бэк асинхронным? Как тогда вызывать скрипт - через loop.run_in_executor(...)? Или, может, стоит написать бэк на Flask и создавать отдельный процесс на расчёт?

#backend #programming #python #russian

0

14.02.2022

13 ответов

13 просмотров

Ruslan Chernenko

Тебе стоит воспользоваться Celery

0

14.02.2022

а что 🇷🇺

Pavel Павлик
run_in_exexutor не поможет на разных ядрах работат...

есть процесс пул

0

14.02.2022

Ruslan Chernenko

Ruslan Chernenko
Тебе стоит воспользоваться Celery

Там и воркеров настроить можно, и очереди выставить приоритетные И прочее, прочее..

0

14.02.2022

а что 🇷🇺

да, селери тут лучше всего будет

0

14.02.2022

Проксимов Прксимович

Через шину

0

14.02.2022

Ruslan Автор вопроса

Для Celery обязательно поднимать брокер сообщений типа RabbitMQ? Ни разу ни тем, ни тем не пользовался. Похоже, настало время. Celery поможет несколько инстансов приложения-бэка поднять, получается? Или "воркеры" в данном контексте означают что-то другое?

0

14.02.2022

Ruslan Chernenko

Ruslan
Для Celery обязательно поднимать брокер сообщений ...

Подниматься придется либо его, либо Redis Celery позволяет делать "таски", которые могут быть запущены внутри процессов aka воркерах для выполнения В тч допустим распределено выполнять твои таски в разных серверах, в разных цодах

0

14.02.2022

Ruslan Chernenko

А для управления всем зоопарком не забудь про докер композ, только базу не пихай туда, вынеси на уровень тачки, или вообще удалённо

0

14.02.2022

Avazart 🇺🇦

Как сказать.

0

14.02.2022

Ruslan Автор вопроса

Avazart 🇺🇦
Как сказать.