Всем привет! На слейвах каталог pg_wal пухнет от количества файлов сейчас

почти 50к
На мастере держится примерно 2к

Всем этим управляет патрони

На слейвах скоро место на диске кончится. Куда стоит копать?

select * from pg_stat_archiver - наверняка при репликации прилетела команда архивации с мастера, а на репликах каталога такого нет. + pg_replication_slots на всякий случай.

archive_command = /bin/true нет архивации( SELECT slot_name, active, restart_lsn FROM pg_replication_slots; на слейвах почти для всего показывает false, но повторяя select из раза в раз иногда проскакивает active=true для слотов по очереди

есть каскадная репликация со всех реплик, если нет то для чего там слоты ? Разберитесь для чего на всех репликах слоты репликации созданы.

Каскадное репликации быть не должно, но могу сейчас сходу всей правды на выяснить. Я как то могу вычислить каскадную реплику? IP / hostname / ... И может просто могу деактивировать/дропнуть этот слот репликации?

если к слоту никто не обращается, то лучше дропнуть

SELECT slot_name, active, restart_lsn, confirmed_flush_lsn FROM pg_replication_slots; Один слот залип на restart_lsn=17B3/2619DD58 и confirmed_flush_lsn=17B3/262A65D0 и он же каждый 4-5 вызов этого запрос active=true, вместо false

ну как лучше, лучше канешн выяснить, может завтра починят и он нагонит, и эти wal нужны кому-то

в конфигурации СУБД: log_replication=on , log_connection=on, log_disconnection=on и ловите в логах кто и откуда запускает репликацию.

log_connections=on log_replication_commands=on log_disconnections=on Но ничего про replication в логи не попадает(

Wal_keep_segments на реплике какой?

wal_keep_segments = 1024 на всех серверах кластера. Но как говорит документация - это параметр минимума доступных сегментов

тогда такой вопрос, а логическая репликация случаем не настроена?

Была задача у коллеги на это, как раз для выделения реплики под аналитику. Надо статус задачи уточнять

Проверьте, что на подписчикам нет ошибок в логах на эту тему. И проверьте настройки патрони, на предмет "не убивания" слотов репликации, если такое есть, возможно это ошибка.

+1 Такое для них уже готовится) Делаем "дебезиум > кафка > clickhouse", но приоритеты в этом году пока подвинули реализацию.

Благодарю за наводку!

а напрямую из clickhouse почему не хотите ?

Напрямую clickhouse'ом из wal'а psql?

нет из самого постгреса.

Аналитиков зацепила идея что можно иметь историю изменений живущую в wal. То есть не просто со слепками БД работать, а историей транзакций, в частности UPDATE row

Понятно

Вообще, лог.репликация в постгрес как постоянное решение, на мой взгляд, зло. https://www.sql.ru/forum/1335748/logicheskaya-replikaciya-i-perekluchenie-roley-na-publikuushhey-storone

Планов на постоянную логическую реплику точно не было. Сразу решили что сделаем аналитикам счастье через дебезиум, так как отлаженный результат уже есть в связке с mysql. Но аналитики стали все больше делать master'у больно тяжелыми запросами построения витрин, а мы тратить время чтобы его чинить, вместо того чтобы вложиться в запуск дебезиум(с psql не так нативно как с mysql). В итоге договорились на скорую руку их отселить на логическую реплику, до готовности дебезиум.