Доброго времени суток, коллеги. Кто нибудь использует расширение pg_wait_sampling под высокой

Question

Доброго времени суток, коллеги. Кто нибудь использует расширение pg_wait_sampling под высокой

нагрузкой?
Меня интересует, на сколько действительно необходимо делать периодически reset для кольцевого буфера, и как часто.

В доке:

Так как статистика по событиям ожидания находится в ОЗУ, важно очищать профиль ожиданий время от времени во избежание переполнения памяти.

Но это ведь именно кольцевой буфер который ограничен по умолчанию 5000 записями с помощью параметра pg_wait_sampling.history_size

Какие риски если не выполнять pg_wait_sampling_reset_profile()

#backend #devops #pgsql #programming #russian

0

27.09.2021

10 ответов

19 просмотров

Vitaliy Kukharik Автор вопроса

Maksim Milyutin
reset относится не к кольцевому буферу, а к профил...

Спасибо за уточнение. Осталось понять, как часто это необходимо делать.

0

27.09.2021

Maksim Milyutin

Vitaliy Kukharik
Спасибо за уточнение. Осталось понять, как часто э...

да можно никогда не делать - там счётчики 64-х битные

0

27.09.2021

Vitaliy Kukharik Автор вопроса

Maksim Milyutin
да можно никогда не делать - там счётчики 64-х бит...

Читая документацию я понял это так, что если забыть делать reset или делать это редко... Возможно переполнение памяти сервера. Сколько это в гигабайтах например за месяц, при 100К TPS.

0

27.09.2021

Maksim Milyutin

Vitaliy Kukharik
Читая документацию я понял это так, что если забыт...

ну вообще да, если сбор по pid`ам включён, то надо бы подчищать профиль, дабы удалять статистику по старым использованным pid`ам и во избежание переиспользования pid`ов при циклическом возврате

0

27.09.2021

Maksim Milyutin

Maksim Milyutin
ну вообще да, если сбор по pid`ам включён, то надо...

тут уж смотрите сами, насколько быстро у ваc новые pid`ы используются постгрес бэкендами

0

27.09.2021

Vitaliy Kukharik Автор вопроса

Maksim Milyutin
тут уж смотрите сами, насколько быстро у ваc новые...

Они за пулом в transaction mode, и не более 300. Поэтому новые pid-ы не часто появляются. В общем сложно сказать сколько это в GiB, разве что понаблюдать сколько памяти использует процесс.

0

27.09.2021

Maksim Milyutin

Vitaliy Kukharik
Они за пулом в transaction mode, и не более 300. П...

вариант, USS надо мониторить. Можно примерно прикинуть: для профиля: сумарное кол-во wait event`ов (можно из доки посчитать) * кол-во pid`ов, которые захватили бэкенд процессы и основные процессы постгреса с момента последнего reset (это если сбор по pid`ам включен) * кол-во уникальных queryId (если сбор по queryId включен) * 24 байт для истории: размер кольцевого буфера * 24 байт

0

27.09.2021

Vitaliy Kukharik Автор вопроса

Maksim Milyutin
вариант, USS надо мониторить. Можно примерно прики...

Спасибо. Вот не так давно я измерял overhead на машинке с 96 ядрами и до 900 000 TPS, и эти тесты не показали заметных накладных расходов https://gitlab.com/postgres-ai/postgresql-consulting/tests-and-benchmarks/-/issues/18 в отличии от pgsentinel , который дал некоторый overhead по использованию CPU https://gitlab.com/postgres-ai/postgresql-consulting/tests-and-benchmarks/-/issues/12

0

27.09.2021

Maksim Milyutin

Vitaliy Kukharik
Спасибо. Вот не так давно я измерял overhead на м...

Спасибо, занятно

0

27.09.2021

Maksim Milyutin · Accepted Answer

Maksim Milyutin

reset относится не к кольцевому буферу, а к профилю - таблице с счётчиками по ожиданиям

0

27.09.2021

172 похожих чатов

Доброго времени суток, коллеги. Кто нибудь использует расширение pg_wait_sampling под высокой

10 ответов

Похожие вопросы