Приветствую! Столкнулся со странным поведением Kafka движка в версии 22.1.3.7. Таблица

Question

Приветствую! Столкнулся со странным поведением Kafka движка в версии 22.1.3.7. Таблица

вида:
Create table table_kafka_out
(
field1 String,
field2 String,
field3 String
) engine = Kafka
SETTINGS kafka_broker_list = ‘broker’, kafka_topic_list = ‘topic’, kafka_group_name = ‘group’, kafka_format = ‘JSONEachRow’

Топик на 5 партиций, replication-factor = 1.

При INSERT в таблицу ожидаемое поведение - равномерно размазанные по партициям сообщения. Реальное поведение - 90% сообщений уходит в первую партицию, остальные неравномерно размазываются по оставшимся четырём.

Пробовал читать из клика и своим продюсером кидать в тот же топик - распределяет равномерно.

На версии 21.х(уже точно не помню) таких проблем не замечал.

Может я не знаю каких-то настроек? Такое ощущение, что используется не round-robin распределение, а что-то другое.

#backend #clickhouse #database #devops #programming #russian

0

14.03.2022

4 ответов

11 просмотров

Al T

Dmitrii Apanasevich
Прошу прощения, что вопросом на вопрос, но разве э...

умеет

0

14.03.2022

1 Автор вопроса

Dmitrii Apanasevich
Прошу прощения, что вопросом на вопрос, но разве э...

Умеет.

0

14.03.2022

1 Автор вопроса

Повторю вопрос, тк проблема не решена. Важные уточнения: ключа в сообщении нет. Сама кафка точно работает корректно и другой продюсер(не кх) пишет в тот же топик равномерно(round-robin распределение).

0

29.03.2022

Dmitrii Apanasevich · Accepted Answer

Dmitrii Apanasevich

Прошу прощения, что вопросом на вопрос, но разве этот движок ClickHouse умеет писать в Kafka?

0

14.03.2022

184 похожих чатов

Приветствую! Столкнулся со странным поведением Kafka движка в версии 22.1.3.7. Таблица

4 ответов

Похожие вопросы