Подскажите, как понять какой pool в engine-e?

Question

Подскажите, как понять какой pool в engine-e?

В документации нашёл параметр max_overflow, при моей ошибке его вроде рекомендуют поднять, но ещё пишут что используется только с QueuePool

0

26.08.2023

28 ответов

51 просмотр

What? ? Автор вопроса

Tishka17
Что за ошибка?

sqlalchemy.exc.TimeoutError: QueuePool limit of size 5 overflow 10 reached, connection timed out, timeout 30.00

0

26.08.2023

Tishka17

What? ?
sqlalchemy.exc.TimeoutError: QueuePool limit of si...

1. Сколько разрешенных коннектов настроено на сервере бд? 2. Что за приложение? Треды, процессы, асинкио? 3. Сколько экземпляров приложения запущено? 4. Какая планируется нагрузка?

0

26.08.2023

What? ? Автор вопроса

Tishka17
1. Сколько разрешенных коннектов настроено на серв...

1. Думаю 100, постгре, в конфигах ничего не менял 2. Асинк 3. 1 4. на ~5 рпс лёг, думаю пора планировать больше

0

26.08.2023

What? ? Автор вопроса

What? ?
sqlalchemy.exc.TimeoutError: QueuePool limit of si...

Вопрос с тем, какой у меня пул отпал

0

26.08.2023

Tishka17

What? ?
1. Думаю 100, постгре, в конфигах ничего не менял ...

Выглядит как будто ты просто не закрываешь соединения

0

26.08.2023

What? ? Автор вопроса

Tishka17
Выглядит как будто ты просто не закрываешь соедине...

Вроде закрываю

0

26.08.2023

What? ? Автор вопроса

What? ?
1. Думаю 100, постгре, в конфигах ничего не менял ...

Помимо 5 запросов, которые прилетели в течении 0.2 секунд, ещё есть фоновые таски. Как раз больше 5 по дефолту

0

26.08.2023

Tishka17

What? ?
Помимо 5 запросов, которые прилетели в течении 0.2...

Так сколько их?

0

26.08.2023

What? ? Автор вопроса

Tishka17
Так сколько их?

В пределах 8. Это вроде и был редкий всплеск

0

26.08.2023

Tishka17

What? ?
В пределах 8. Это вроде и был редкий всплеск

И долгие они?

0

26.08.2023

Tishka17

What? ?

Вроде закрываю

А в фоновых тамках как открываешь/закрываешь?

0

26.08.2023

What? ? Автор вопроса

Tishka17
А в фоновых тамках как открываешь/закрываешь?

Так же, через контекстный менеджер

0

26.08.2023

What? ? Автор вопроса

Да, видимо в этом проблема. В логах нет времени на отдельные запросы, есть только на обработку апдейта. Все апдейты отрабатывают в пределах 0.4 сек. Но нашёл по 80сек. Проблема может быть только в моих запросах? Или в настройках базы?

0

26.08.2023

Tishka17

What? ?
Да, видимо в этом проблема. В логах нет времени на...

80 сек фоновая задача или хэндлер?

0

26.08.2023

What? ? Автор вопроса

Tishka17
80 сек фоновая задача или хэндлер?

Хендлер. Несколько запросов select.all() по очереди

0

26.08.2023

Alex

What? ?

Вроде закрываю

Что такое self.pool ?

0

26.08.2023

What? ? Автор вопроса

Alex
Что такое self.pool ?

А в чём конкретно проблема, так и не понял. Вроде в хендлере

0

27.08.2023

Fred Bernardo

What? ?

А в чём конкретно проблема, так и не понял. Вроде ...

Может у тебя просто больше 20 одновременных коннектов? Если нет, то косяк в коде

0

27.08.2023

What? ? Автор вопроса

Fred Bernardo
Может у тебя просто больше 20 одновременных коннек...

Проблема была в том, что слишком много одновременных конекшенов, это ясно. Но Их не должно было быть. Вот вроде самый сложный из запросов во вьюхе, которая отрабатывает 80 сек

0

27.08.2023

Владимир

What? ?

Проблема была в том, что слишком много одновременн...

Это как узнал что он самый сложный?)

0

27.08.2023

What? ? Автор вопроса

Владимир
Это как узнал что он самый сложный?)

Потому что в остальных только селекты по пк\фк

0