Всем доброго дня. Коллеги, можете научить уму разуму, как правильно

Question

Всем доброго дня. Коллеги, можете научить уму разуму, как правильно

указать параметр kafka_skip_broken_messages для Kafka Engine?

сейчас kafka_skip_broken_messages = 1, и есть проблема:
генерируются очень много JSONEachRow данных, среди них есть кривые, это не починить, только фильтровать или самому, или Clickhouse, он умеет отбрасывать кривые, но - через какое-то время получение данных из Кафки останавливается, в логах Clickhouse видим - что запись пропущена, все как обычно, но по факту данные не забираются... и ничего с этим поделать не можем, помогает только offset reset на позднее значение (

очень похоже на бесконечный цикл, получаем кривое сообщение, почему-то не пропускаем его (не смещаем offset в топике кафки), и опять по новой

#backend #clickhouse #database #devops #programming #russian

0

01.10.2020

5 ответов

30 просмотров

Jury Автор вопроса

A
kafka_skip_broken_messages = N, где N - это максим...

ага, уже понятнее... т.е. по идее, надо указать N = размеру блока, так?

0

01.10.2020

Ян Калмычков

A
kafka_skip_broken_messages = N, где N - это максим...

при kafka_skip_broken_messages = 1 он должен отбрасывать все невалидное, где-то были комментарии на эту тему

0

01.10.2020

A

Ян Калмычков
при kafka_skip_broken_messages = 1 он должен отбра...

https://clickhouse.tech/docs/ru/engines/table-engines/integrations/kafka/

0

01.10.2020

Jury Автор вопроса

Ян Калмычков
при kafka_skip_broken_messages = 1 он должен отбра...

ну по факту этого не происходит... вернее так - работает пару часов, а потом останавливается

0

01.10.2020

A · Accepted Answer

A

kafka_skip_broken_messages = N, где N - это максимальное количество сообщений в блоке, которое допустимо отбросить если количество битых сообщений в блоке больше N, то получается ситуация, которую Вы описываете

0

01.10.2020

184 похожих чатов

Всем доброго дня. Коллеги, можете научить уму разуму, как правильно

5 ответов

Похожие вопросы