Части моего приложения нужен один конфиг гуникорна, другой части другой.

Question

Части моего приложения нужен один конфиг гуникорна, другой части другой.

Если подробнее, то для одной части я должен использовать процессы и сразу перезапускать их, а для другой треды и ничего не перезапускать.
Сначала думал может можно как то сконфигурировать гуникорн так, что для одних эндпоинтов одни правила, для других другие. Не нашел ничего подобного. Потом стал смотреть в сторону нескольких приложений, которые двумя командами поднимаются. Но тогда нужно их на разных портах поднимать, что тоже не желательно.

Есть ли какой то вариант без использования нгинкса и других прокси сделать то что я хочу на одном порте? Чтобы на одном ресурсе один конфиг гуникорна был, на другом другой?

#backend #programming #python #russian

0

11.05.2023

8 ответов

15 просмотров

Jack Bolt

Мб я не совсем понял, в чем вообще проблема, маловато информации, если тебе нужны процессы для обработки чего-то тяжелого, ты можешь использовать ProcessPoolExecutor, не обязательно гуникорну процессы открывать

0

11.05.2023

Niko Buretti Автор вопроса

Jack Bolt
Мб я не совсем понял, в чем вообще проблема, малов...

Мне нужны процессы и сразу перезапускать их, потому что я использую либу gdal, у которой какие то проблемы с питоном и в мультитрединге начинает память течь по пока что непонятным причинам. Плюс она очень cpu bound. Но другая часть приложения использует безопасную часть этой либы, в которой память не течет, плюс нужно много препроцессинга делать, т.е. много работы на этапе загрузки приложения (загрузить огромный файл с диска). И эта часть приложения должна работать быстро, хотелось бы сэкономить хотя бы на препроцессинге. Вот и получается, что мне нужны разные конфиги. Может конечно можно как то не через гуникорн запускать обработку в отдельном процессе и чтобы по окончанию процесс перезапускался, но мне показалось, что это что-то сомнительное.

0

11.05.2023

Alex

Niko Buretti
Мне нужны процессы и сразу перезапускать их, потом...

> Мне нужны процессы и сразу перезапускать их, потому что я использую либу gdal, у которой какие то проблемы с питоном и в мультитрединге начинает память течь по пока что непонятным причинам. Плюс она очень cpu bound. Почему бы эту часть действительно не вынести в отдельный фоновый сервис. Не ясно только зачем эта часть должна быть WSGI приложением.

0

11.05.2023

Niko Buretti Автор вопроса

Alex
> Мне нужны процессы и сразу перезапускать их, пот...

Это не обязательно wsgi, просто мне нужно апи и я вот пользуюсь фреймворками, которые упрощают его создание. Может я тебя не так понял... Можешь пояснить по-подробнее?

0

11.05.2023

Alex

Niko Buretti
Это не обязательно wsgi, просто мне нужно апи и я ...

Взять какую-нибудь простую очередь сообщений и вынести CPU-bound процессинг в отдельный воркер.

0

11.05.2023

Niko Buretti Автор вопроса

Alex
Взять какую-нибудь простую очередь сообщений и вын...

А ну я понял. Да, идея хорошая, я тоже к ней пришел, просто подумал что можно временно как то решить попроще.

0

11.05.2023