184 похожих чатов

Доброго дня. Все пытаюсь подружить kafka и clickhouse и разобраться

с параметрами max_insert_block_size, stream_flush_interval_ms и max_block_size.
Симптомы такие - сlickhouse забирает из kafka данные, но данные в целевую таблицу через materialized view отправляются только при наборе 65536 строк. Это также хорошо видно и со стороны kafka, CONSUMER LAG на каждом из трех consumer достигает 65536. Но правильное ли это поведение?
В документации сказано "Если блок не удалось сформировать за stream_flush_interval_ms миллисекунд, то данные будут сброшены в таблицу независимо от полноты блока.".
Настройки все дефолтные, на всякий проверил так.
stats-1 :) select * from system.settings where name='stream_flush_interval_ms';

SELECT *
FROM system.settings
WHERE name = 'stream_flush_interval_ms'

┌─name─────────────────────┬─value─┬─changed─┬─description────────────────────────────────────────┐
│ stream_flush_interval_ms │ 7500 │ 0 │ Timeout for flushing data from streaming storages. │
└──────────────────────────┴───────┴─────────┴────────────────────────────────────────────────────┘
Т.е. по идеи каждые 7.5 секунд данные должны сбрасываться? но поведения такого не наблюдаю.
При перезагрузке процесса - данные сразу сбрасываются.

1 ответов

19 просмотров

скорее всего вам придется либо ждать новый релиз либо собирать кх https://github.com/yandex/ClickHouse/issues/2169

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Карта сайта