Подскажите почему у меня не может закончится перебалансировка? Логи сыпятся

каждую секунду.
кликхаус не забирает из кафки

2023-10-31 15:05:02 [2023-10-31 10:05:02,064] INFO [GroupCoordinator 1]: Preparing to rebalance group group in state PreparingRebalance with old generation 32515 (__consumer_offsets-47) (reason: Leader ClickHouse-733708137f2b-default-kafka_engine-ac898c93-438b-4f02-ab9b-f064d386b7f9 re-joining group during Stable; client reason: not provided) (kafka.coordinator.group.GroupCoordinator)
2023-10-31 15:05:02 [2023-10-31 10:05:02,064] INFO [GroupCoordinator 1]: Stabilized group group generation 32516 (__consumer_offsets-47) with 1 members (kafka.coordinator.group.GroupCoordinator)
2023-10-31 15:05:02 [2023-10-31 10:05:02,066] INFO [GroupCoordinator 1]: Assignment received from leader ClickHouse-733708137f2b-default-kafka_engine-ac898c93-438b-4f02-ab9b-f064d386b7f9 for group group for generation 32516. The group has 1 members, 0 of which are static. (kafka.coordinator.group.GroupCoordinator)

проблема со вставкой во всех таблицах с кафкой?

ну я пока тестирую, у меня 1 топик, 1 таблица в кликхаусе

если что табл создаю вот таким образом CREATE TABLE default.kafka_engine ( timest DateTime64(3), host String, name String, slave_id Int32, type String, metric Int32 ) ENGINE = Kafka SETTINGS kafka_broker_list = 'kafka1:19092', kafka_topic_list = 'first_kafka_topic', kafka_group_name = 'group', kafka_format = 'JSONEachRow' CREATE TABLE default.kafka_table (timest DateTime64(3), host String, name String, slave_id Int32, type String, metric Int32) ENGINE = MergeTree() ORDER BY (timest, host, name, slave_id, type, metric); CREATE MATERIALIZED VIEW default.consumer TO default.kafka_table AS SELECT * FROM default.kafka_engine; после чего продюсер локально закидывает данные в кафку, а дальше должен работать движок

А сделайте другое имя группы. Например mygroup111

все находится в контейнерах в одной сети, работает какоето время после не может сконектиться и в логах кафки сыплет то что выше кидал, в логах кликхауса вообще тишина (заметил там вообще ни как не реагирует)

Странно что в логах кх тишина. У вас может уровень логирования не trace

сделал новую таблицу с движком, в ui кафки естественно появился новый консьюмер, пока работает, буду ждать перебалансировки.

возможно, я из коробки... пока не ползал в настройки логирования, но походу нужно поставить на trace

причина может быть в названии группы? 🧐 обьясните пожалуйста почему вы обратили на это внимание

если еще ктото пользуется этой кафкой и использует ту же группу, то он будет как раз провоцировать ребалансы и реджойны.

пока я локально тестирую(доступ только у меня), но у нас на сервере в дальнейшем будет работать по моей схеме (через движки) и доступ будет к группе у всех

значит никто кроме клика не использует ту же группу. Остаются таймауты, стоит начать с увеличения kafka_poll_timeout_ms либо уменьшения количества вытаскиваемых записей из кафки через kafka_poll_max_batch_size

Т.е. этой кафкой никто не пользуется? Тогда я бы смотрел настройки брокеров, и удалял все нестандартные сетинги. Возможно вы там включили там сетинг который такое делает.

вроде все делал стандартно) только знакомимся с сервисами поэтому кастомные настройки исключаю пока

спасибо за сужение круга поиска, изучу что за настройки)

надо еще сопоставить таймауты на кафке и те которые будут использоваться консумером

поставил kafka_poll_timeout_ms = 1000, посмотрим как поведет себя, это ведь отвечает за количество времени сколько кафка будет ждать сигнал от кликхауса о его работоспособности?

Это сколько брокер будет копить сообщения

что вы подразумеваете под словом копить? у меня из кафки в кликхаус сразу приходят, последнее с 'timest': '2023-10-31 11:44:59.079440', по utc