184 похожих чатов

Добрый вечер. Работают ли настройки max_insert_block_size / min_insert_block_size_rows при вставки из

кафки в дистрибутивную таблицу через матвью ? Смущает , что при изменении размера блока в таблице Кафка, на годы прилетает +- одно количество строк.

11 ответов

33 просмотра

kafka_max_block_size меняли?

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса
Konstantin Ilchenko
kafka_max_block_size меняли?

Да, его и увеличивал.

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса
Konstantin Ilchenko
min_insert_block_size_bytes тоже?

min_insert_block_size_rows/bytes не трогал. Буду смотреть , спасибо.

с кафкой вообще все по другому. По умолчанию там poll идет какое-то время и флашится kafka_max_block_size но если мы наконсьюмили 100 записей за период то и зафлашатся 100 записей параметры https://github.com/ClickHouse/ClickHouse/pull/11388 kafka_flush_interval_ms

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса
Denny [Altinity]
с кафкой вообще все по другому. По умолчанию там p...

В том-то и дело, что лаг миллиарды, и он уменьшается по 3-4кк, только вот прилетает на ноды по 30к ( всего 5 нод). Спасибо

Brаl Brаl Bral 🏳️‍🌈👠
В том-то и дело, что лаг миллиарды, и он уменьшает...

это возможно Distributed так делает, когда режет на 5 зачем у вас Distributed?

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса
Denny [Altinity]
это возможно Distributed так делает, когда режет н...

А, вы хотите предложить к конкретной партиции топика привязаться ?

Brаl Brаl Bral 🏳️‍🌈👠
А, вы хотите предложить к конкретной партиции топи...

нет конечно. зачем у вас Distributed? -- Это нестандартный подход с кафка engine, и используется когда надо шардить по ключу.

Brаl Brаl-Bral 🏳️‍🌈👠 Автор вопроса

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта