Подскажите, пожалуйста У меня есть процесс кафка -> кликхаус, все стандартно:

Question

Подскажите, пожалуйста У меня есть процесс кафка -> кликхаус, все стандартно:

таблица с движком Kafka с коннектом к топику, матвью и таргет таблица. Все работало на протяжении года без проблем. Сегодня прилетела аномалия в данных и весь процесс встал.

В КХ есть настройка для движка Кафка, которая бы позволила пропускать такие аномалии, если их невозможно обработать? а то из-за 1 битой строки, весь процесс встал

#backend #clickhouse #database #devops #programming #russian

0

06.10.2023

9 ответов

22 просмотра

Александр Зенков Автор вопроса

Salavat Yalalov
А Вы как читаете из Кафки? RawBlob или JSON?

create table kafka_metrics ( raw String ) engine = Kafka('host:port', 'topic', 'consumer', 'JSONAsString'); данные со сложной структурой, приходится так вытягивать, а потом парсить джисон

0

06.10.2023

Konstantin Ilchenko

Engine = Kafka SETTINGS kafka_skip_broken_messages = 1

0

06.10.2023

Александр Зенков Автор вопроса

Konstantin Ilchenko
Engine = Kafka SETTINGS kafka_skip_broken_messages...

спасибо

0

06.10.2023

Konstantin Ilchenko