Народ, есть процедура которая собирает таблицу в постгре. Сама таблица

150 млн записей. А логов за месяц столько же выходит, в основном апдейты. Код процедуры ещё не смотрел, что это может быть?

Какие логи?

Это может быть заделом для развёртывания ходупа для парсинга тех логов

Апдейты, инсерты, делиты

Столько же логов это в плане количества на файловой системе? Или объёма? Какие логи вы имеете ввиду, wal?

Действительно. Нужен хадуп на 150млн записей. ;-)

Ну это в месяц А в год уже 2млрд)

Какой прок от даты предыдущих месяцев?

И парсить надо все 2 млрд разом?

В чатгпт запихивать, чтоб бузинес решения принял

А ты точно бигдатер?🤔 Разве не интересно отслеживать например фичи пользователя с течением времени?

Не точно

Сейчас сыряк хранится 10 - 14 дней. Это уже компреснутое таблички по 80ТБ

И видимо ежесуточно? Короче, это вопрос борьбы между целеполаганием, баблом и здравым смыслом

Ежесекундно

Не очень понятно, в чем твой вопрос, честно говоря. "что это может быть?" 🤔

Не понятно даже что это за логи. Логи чего? Процедуры? Или это журнал транзакции. "Огласите весь список пожалуйста"

Да вал

Ну все эти апдейты пустые в итоге, ничего не меняют

чем больше операций тем больше wal, логично же. Может в процедуре у тебя там каждая строка отдельной транзакцией апдейтится. Вообще непонятно чем тебя размер вала смущает.