Доброго дня. Продолжаю разбираться с коннектами и нагрузкой на базу.

Question

Доброго дня. Продолжаю разбираться с коннектами и нагрузкой на базу.

Вчера предлагали изучить yandex odyssey, pdf просмотрел, но, естественно, мне далекому от этого всего человеку, мало что было понятно.
В данный момент переписал один из воркеров так, чтобы использовалась база тогда и только тогда, когда это требуется. Один воркер имеет 50 потоков и пул из 50 подключений к базе. Самая минимальная "машина" (1 процесс 1 поток) обрабатывает ровно 1 операцию в секунду. После изменения количества потоков с 1 до 50, стало, соответственно, 50 о/с.
По графикам нагрузки на базу стабильно висит 200 активных подключений (активно 2 воркера, у каждого воркера 2 процесса по 50 потоков). Вопрос в следующем: использование ОЗУ растёт линейно с течением времени — так и должно быть? Либо что-то не утилизируется? Либо тут это так не работает? Это ведь в конечном итоге приведёт к ООМ, не так ли?

#backend #devops #pgsql #programming #russian

0

23.02.2021

12 ответов

12 просмотров

Mooner Автор вопроса

zheka_13
а почему не используете pgbouncer?

Быстрый поиск привел к тому, что я не знаю, как его можно/надо использовать с текущей реализацией воркеров

0

23.02.2021

zheka_13

Mooner
Быстрый поиск привел к тому, что я не знаю, как ег...

это пул соединений. Я думаю его можно использовать с чем угодно.

0

23.02.2021

Yaroslav Schekin

> Вопрос в следующем: использование ОЗУ растёт линейно с течением времени — так и должно быть? Использование ОЗУ где и чем (мне кажется, или Вы даже и в прошлый раз так не объяснили, чем и что измеряете)?

0

23.02.2021

Mooner Автор вопроса

Yaroslav Schekin
> Вопрос в следующем: использование ОЗУ растёт лин...

Вот этим: https://cloud.google.com/sql/docs/postgres/monitor-instance

0

23.02.2021

Mooner Автор вопроса

zheka_13
это пул соединений. Я думаю его можно использовать...

Хорошо, попробую поискать что-то более подробное

0

23.02.2021

Yaroslav Schekin

Mooner
Вот этим: https://cloud.google.com/sql/docs/postgr...

Хмм... Вы же, вроде бы, переходили на настоящий postgres, или я путаю? И Вы знаете, что именно эта штука измеряет (я вот нет)?

0

23.02.2021

Dmitriy Sviridov

Вы close() не забываете вызывать после каждого запроса?

0

23.02.2021

Mooner Автор вопроса

Yaroslav Schekin
Хмм... Вы же, вроде бы, переходили на настоящий po...

Пока всё же решил остаться на Cloud SQL ввиду того, что если устанавливать через тот же Bitnami, то придётся настраивать практически все параметры базы. А какие именно надо — можно конечно посмотреть на текущие параметры в облаке, но получится аналогичная база, вот

0

23.02.2021

Mooner Автор вопроса

Dmitriy Sviridov
Вы close() не забываете вызывать после каждого зап...

В конце каждого запроса происходит Session.remove(), которая вызывает .close()

0

23.02.2021

Yaroslav Schekin

Mooner
Пока всё же решил остаться на Cloud SQL ввиду того...

Тогда Вас ждёт техподдержка google, по-хорошему. > но получится аналогичная база, вот Получится настоящий PostgreSQL, а не https://cloud.google.com/sql/docs/postgres/features#differences-pg И сообществу будет куда интереснее вам помогать, IMHO. ;)

0

23.02.2021

Mooner Автор вопроса

Yaroslav Schekin
Тогда Вас ждёт техподдержка google, по-хорошему. ...

Я Вас понял, Ярослав :) Постараюсь поднять в скором времени

0

23.02.2021

zheka_13 · Accepted Answer

zheka_13

а почему не используете pgbouncer?

0

23.02.2021

172 похожих чатов

Доброго дня. Продолжаю разбираться с коннектами и нагрузкой на базу.

12 ответов

Похожие вопросы