Работал кто с SQLAlchemy в связке с pgboucner? Если да,

Question

Работал кто с SQLAlchemy в связке с pgboucner? Если да,

то как правильно использовать пулы из pgbouncer? Если просто использовать poolclass=NullPool в create_engine, а потом создавать sessionmaker, то это работает, конечно, но почему-то как-то слишком медленно. Играет ли тут роль, если я использую это всё дело вместе с Dramatiq? Потому что Dramatiq'ом создаю дополнительные потоки и не совсем уверен, эффективно ли всё вообще утилизируется, да и работает в целом правильно. Потому что если не использовать pgbouncer, а обычный пул соединений из алхмии, то при нескольких десятков воркеров RAM у базы линейно растёт, что в скором времени приводит к ООМ

#backend #programming #python #russian

0

26.02.2021

7 ответов

13 просмотров

Mooner Автор вопроса

Tishka17
Юзать обычный пул алхимии и не париться.

Так бы с радостью, но из-за этого падает база. Возрастания на графике — запуск воркеров. Убывание — база лежит, воркеры ждут подключения к базе. И почему эта память постоянно растёт я не знаю, ибо количество подключений к базе не меняется

0

26.02.2021

Tishka17

Mooner
Так бы с радостью, но из-за этого падает база. Воз...

Сколько у тебя воркеров?

0

26.02.2021

Mooner Автор вопроса

Tishka17
Сколько у тебя воркеров?

Поднимаются 1-40 машин. Одна машина — это 2 процесса с 8 потоками (причём потоки всё ещё тестируем, ищем оптимальное значение для скорости обработки)

0

26.02.2021