Ребят, привет! КХ 20.10.5.10 Кластер на 4 ноды. (2 шарда, 2 реплики) На

Question

Ребят, привет! КХ 20.10.5.10 Кластер на 4 ноды. (2 шарда, 2 реплики) На

каждой ноде есть Kafka таблицы, подключенные к одному и тому же топику. В топике 12 партиций.
Когда делаю матвью на эту табличку — все ноды берут себе по 3 партиции все выглядит хорошо. Но спустя какое-то время партиции могут перебалансироваться и уже 3 ноды будут использовать по 4 партиции, а 4я нода начинает слать ошибки типа:
<Warning> StorageKafka (my_topic): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.
Быват случаи когда две или одна нода могут забрать на себя все партиции, а остальные начинают сыпать ошибками.

Подскажите пожалуйста, кто-то с таким сталкивался? Как это можно решить?

#backend #clickhouse #database #devops #programming #russian

0

29.01.2021

3 ответов

18 просмотров

Volodymyr Bunchuk Автор вопроса

Denny [Altinity]
вы параметры в самой кафке меняли дефолтные? похож...

Спасибо! Понятно теперь куда копать. >либо в КХ в кафка таблицах num_consumer > 1 нет, везде по одному >вы параметры в самой кафке меняли дефолтные? По параметрам кафки уточню у девопсов. Не заведую ею.

0

29.01.2021

Volodymyr Bunchuk Автор вопроса

Denny [Altinity]
вы параметры в самой кафке меняли дефолтные? похож...

А не подскажите, какой параметр в конфиге брокера за это может отвечать?

0

29.01.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

вы параметры в самой кафке меняли дефолтные? похоже у вас при ребалансе брокер ждет очень мало времени чтобы назначить партиции консьюмерам, и они не успевают заявить что им тоже надо. либо в КХ в кафка таблицах num_consumer > 1

0

29.01.2021

184 похожих чатов

Ребят, привет! КХ 20.10.5.10 Кластер на 4 ноды. (2 шарда, 2 реплики) На

3 ответов

Похожие вопросы