184 похожих чатов

Добрый вечер. Работают ли настройки max_insert_block_size / min_insert_block_size_rows при вставки из

кафки в дистрибутивную таблицу через матвью ? Смущает , что при изменении размера блока в таблице Кафка, на годы прилетает +- одно количество строк.

11 ответов

17 просмотров

kafka_max_block_size меняли?

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса
Konstantin Ilchenko
kafka_max_block_size меняли?

Да, его и увеличивал.

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса
Konstantin Ilchenko
min_insert_block_size_bytes тоже?

min_insert_block_size_rows/bytes не трогал. Буду смотреть , спасибо.

с кафкой вообще все по другому. По умолчанию там poll идет какое-то время и флашится kafka_max_block_size но если мы наконсьюмили 100 записей за период то и зафлашатся 100 записей параметры https://github.com/ClickHouse/ClickHouse/pull/11388 kafka_flush_interval_ms

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса
Denny [Altinity]
с кафкой вообще все по другому. По умолчанию там p...

В том-то и дело, что лаг миллиарды, и он уменьшается по 3-4кк, только вот прилетает на ноды по 30к ( всего 5 нод). Спасибо

Brаl Brаl Bral 🏳️‍🌈👠
В том-то и дело, что лаг миллиарды, и он уменьшает...

это возможно Distributed так делает, когда режет на 5 зачем у вас Distributed?

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса
Denny [Altinity]
это возможно Distributed так делает, когда режет н...

А, вы хотите предложить к конкретной партиции топика привязаться ?

Brаl Brаl Bral 🏳️‍🌈👠
А, вы хотите предложить к конкретной партиции топи...

нет конечно. зачем у вас Distributed? -- Это нестандартный подход с кафка engine, и используется когда надо шардить по ключу.

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса

Похожие вопросы

Обсуждают сегодня

какие клиентские датасеты в лазаре умеют объединяться в master-detail? нужно забрать на клиент запись из одной таблицы и выборку из другой связанной один-ко-многим, отредактир...
Igor
19
А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
Подскажите, сейчас что то есть (JS модуль какой-нибудь), что можно использовать для: 1) переваривания javascript codа из html fileа, т.е. разбивки, на переменные, команды, бло...
Iar De
32
Мне интересно, скорее людей здесь используют D, Rust, C/C++ для решения реальных прикладных задач за деньги?)
Evil Satanson
43
кто поможет крякнуть чит? (реверс инжиринг) чтобы разблокировать премиум версию
Mёdkinson Medvezhkin
39
/////////////////////////////////////// TChart / TLineSeries - сохранение данных (текстовый файл) /////////////////////////////////////// добрый день / работа с графиком: 1....
livontiy
14
Делал сайт заказчику в 2018г. Прилетела претензия на фотку в примерах работ от copydefend (ооо "фортуна технолоджис") на 36к рублей 🙈 Конторка эта образовалась в 2023 г, и 13...
Alexander Andreev
10
давайте за механические клавиатуры потрём, мне тут неучтенных денег упало и их можно потратить на что-то такое, вот думаю про dark project kd87a, кто-то имеет что-то подобное?
Oleg Nosov
24
А что, надо по другому как-то?
rσσт@ανα∂αмιασ
10
Возник вопросик, а сисколл sys_read в лине должен возвращать 0 в eax когда я пытаюсь прочитать байт за пределами файла? А то я как-то не уверен, у меня сискол все время возвра...
rσσт@ανα∂αмιασ
8
Карта сайта