Скажите, а в kafka engine косюмер поднимается и висит постоянно

Question

Скажите, а в kafka engine косюмер поднимается и висит постоянно

и поллит, или же когда больше нечего читать из топика, освобождает место в backgroundSchedule пуле для других консюмеров? (речь о ситуаци когда консюмеров больше чем background_schedule_size)
Мы часто стали ловить ошибку при попытке закомитить оффсеты от брокера и консюмер группа постоянно ребалансится.

Clickhouse Server v 20.4.

2021.02.08 15:48:57.944984 [ 41516 ] {} <Error> StorageKafka (kafka_table_name): Exception during commit attempt: Broker: Unknown member
2021.02.08 15:48:57.963076 [ 41516 ] {} <Error> void DB::StorageKafka::threadFunc(): Code: 518, e.displayText() = DB::Exception: All commit attempts failed. Last block was already written to target table(s), but was not commited to Kafka.,

#backend #clickhouse #database #devops #programming #russian

0

08.02.2021

3 ответов

21 просмотр

Oleksandr Ryzhenko Автор вопроса

Denny [Altinity]
Так кафка устроена. Необходимо постоянно полить. И...

Ну у нас так и получается. Может быть, что после получения из кафки кх слишком долго обрабатывает полученный батч, что брокер кикает консюмер? Очень на это похоже по крайней мере

0

09.02.2021

Denny [Altinity]

Oleksandr Ryzhenko
Ну у нас так и получается. Может быть, что после п...

Вам бы обновится сначала до 20.6+ там сильно лучше все с кафкой

0

09.02.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

Так кафка устроена. Необходимо постоянно полить. Иначе брокер думает что консьюмер помер и делает ребаланс и отдает партиции другому консьюмеру

0

09.02.2021

184 похожих чатов

Скажите, а в kafka engine косюмер поднимается и висит постоянно

3 ответов

Похожие вопросы