Ребят, раньше писал насчет проблемы с коннекторами. На всякий еще

раз продублирую. Добавлял в рассылку кафки, ответа нету. Допускаю что это баг

Source connectors stops working after the broker crashes.

Configuration:
3 br
1 zk
1 connect worker(distributed mode)
8 connectors(sink and source)

Description of connect topics:
фото прикрепляю

Environment:
K8s, gcloud, confluent images

After crash of first broker there are several messages that broker is not available. During it’s restart, there is brokers rebalancing which changes the leaders and replicators of topic partitions and after that all is fine. Following messages appear when broker failed:
INFO [Worker clientId=connect-1, groupId=connect-cluster] Group coordinator kafka-broker-2-int:29092 (id: 2147483645 rack: null) is unavailable or invalid, will attempt rediscovery (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
INFO [Worker clientId=connect-1, groupId=connect-cluster] Group coordinator kafka-broker-2-int:29092 (id: 2147483645 rack: null) is unavailable or invalid, will attempt rediscovery (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
INFO [Worker clientId=connect-1, groupId=connect-cluster] Attempt to heartbeat failed since coordinator kafka-broker-2-int:29092 (id: 2147483645 rack: null) is either not started or not valid. (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)

Connectors use only two other brokers and no warning messages. But when another broker is crashed warning messages are not stopped and connect offset consumer fails with timeout error.
INFO [Consumer clientId=consumer-2, groupId=connect-cluster] Error sending fetch request (sessionId=1683702723, epoch=INITIAL) to node 1: org.apache.kafka.common.errors.TimeoutException: Failed to send request after 30000 ms.. (org.apache.kafka.clients.FetchSessionHandler)
and one
ERROR Unexpected exception in Thread[KafkaBasedLog Work Thread - connect-offset-storage-topic,5,main] (org.apache.kafka.connect.util.KafkaBasedLog)».
So even if broker is restarted, consumer already failed, and connectors are not able to get offsets. It seems, that there is no relation to specific broker instance, due to this error might occur with different brokers.

What can cause these problem?
Thanks.

2 ответов

23 просмотра

Скорее всего, проблема в метаданных. Там явно используются внутренние адреса k8, которых не понимает консьюмер.

Как прописаны listeners на брокерах и где находится консьюмер?

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Карта сайта