Доброго дня. Все пытаюсь подружить kafka и clickhouse и разобраться

Question

Доброго дня. Все пытаюсь подружить kafka и clickhouse и разобраться

с параметрами max_insert_block_size, stream_flush_interval_ms и max_block_size.
Симптомы такие - сlickhouse забирает из kafka данные, но данные в целевую таблицу через materialized view отправляются только при наборе 65536 строк. Это также хорошо видно и со стороны kafka, CONSUMER LAG на каждом из трех consumer достигает 65536. Но правильное ли это поведение?
В документации сказано "Если блок не удалось сформировать за stream_flush_interval_ms миллисекунд, то данные будут сброшены в таблицу независимо от полноты блока.".
Настройки все дефолтные, на всякий проверил так.
stats-1 :) select * from system.settings where name='stream_flush_interval_ms';

SELECT *
FROM system.settings
WHERE name = 'stream_flush_interval_ms'

┌─name─────────────────────┬─value─┬─changed─┬─description────────────────────────────────────────┐
│ stream_flush_interval_ms │ 7500 │ 0 │ Timeout for flushing data from streaming storages. │
└──────────────────────────┴───────┴─────────┴────────────────────────────────────────────────────┘
Т.е. по идеи каждые 7.5 секунд данные должны сбрасываться? но поведения такого не наблюдаю.
При перезагрузке процесса - данные сразу сбрасываются.

#backend #clickhouse #database #devops #programming #russian

0

19.10.2018

1 ответов

11 просмотров

Denny [Altinity] · Accepted Answer

Denny [Altinity]

скорее всего вам придется либо ждать новый релиз либо собирать кх https://github.com/yandex/ClickHouse/issues/2169

0

19.10.2018

184 похожих чатов

Доброго дня. Все пытаюсь подружить kafka и clickhouse и разобраться

1 ответов

Похожие вопросы