кафки в дистрибутивную таблицу через матвью ? Смущает , что при изменении размера блока в таблице Кафка, на годы прилетает +- одно количество строк.
kafka_max_block_size меняли?
Да, его и увеличивал.
min_insert_block_size_bytes тоже?
min_insert_block_size_rows/bytes не трогал. Буду смотреть , спасибо.
с кафкой вообще все по другому. По умолчанию там poll идет какое-то время и флашится kafka_max_block_size но если мы наконсьюмили 100 записей за период то и зафлашатся 100 записей параметры https://github.com/ClickHouse/ClickHouse/pull/11388 kafka_flush_interval_ms
В том-то и дело, что лаг миллиарды, и он уменьшается по 3-4кк, только вот прилетает на ноды по 30к ( всего 5 нод). Спасибо
это возможно Distributed так делает, когда режет на 5 зачем у вас Distributed?
А, вы хотите предложить к конкретной партиции топика привязаться ?
нет конечно. зачем у вас Distributed? -- Это нестандартный подход с кафка engine, и используется когда надо шардить по ключу.
Собственно да, шардим по ключу.
ну это вам Distributed и дробит
Обсуждают сегодня