Ребят, раньше писал насчет проблемы с коннекторами. На всякий еще

раз продублирую. Добавлял в рассылку кафки, ответа нету. Допускаю что это баг

Source connectors stops working after the broker crashes.

Configuration:
3 br
1 zk
1 connect worker(distributed mode)
8 connectors(sink and source)

Description of connect topics:
фото прикрепляю

Environment:
K8s, gcloud, confluent images

After crash of first broker there are several messages that broker is not available. During it’s restart, there is brokers rebalancing which changes the leaders and replicators of topic partitions and after that all is fine. Following messages appear when broker failed:
INFO [Worker clientId=connect-1, groupId=connect-cluster] Group coordinator kafka-broker-2-int:29092 (id: 2147483645 rack: null) is unavailable or invalid, will attempt rediscovery (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
INFO [Worker clientId=connect-1, groupId=connect-cluster] Group coordinator kafka-broker-2-int:29092 (id: 2147483645 rack: null) is unavailable or invalid, will attempt rediscovery (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
INFO [Worker clientId=connect-1, groupId=connect-cluster] Attempt to heartbeat failed since coordinator kafka-broker-2-int:29092 (id: 2147483645 rack: null) is either not started or not valid. (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)

Connectors use only two other brokers and no warning messages. But when another broker is crashed warning messages are not stopped and connect offset consumer fails with timeout error.
INFO [Consumer clientId=consumer-2, groupId=connect-cluster] Error sending fetch request (sessionId=1683702723, epoch=INITIAL) to node 1: org.apache.kafka.common.errors.TimeoutException: Failed to send request after 30000 ms.. (org.apache.kafka.clients.FetchSessionHandler)
and one
ERROR Unexpected exception in Thread[KafkaBasedLog Work Thread - connect-offset-storage-topic,5,main] (org.apache.kafka.connect.util.KafkaBasedLog)».
So even if broker is restarted, consumer already failed, and connectors are not able to get offsets. It seems, that there is no relation to specific broker instance, due to this error might occur with different brokers.

What can cause these problem?
Thanks.

2 ответов

13 просмотров

Скорее всего, проблема в метаданных. Там явно используются внутренние адреса k8, которых не понимает консьюмер.

Как прописаны listeners на брокерах и где находится консьюмер?

Похожие вопросы

Обсуждают сегодня

Всем привет. Подскажите, почему не меняется значение поля при переключении сайта?
Alexander Peterikov
11
Можно ли загрузить скрипт py в бота чтобы он работал по нему? как это сделать?
huskadam #RCC Фанат? @hitlerpvp
13
Добрый день! Кто-нибудь знает как подключить твиг в контроллеры плагина?
Николай Афанасенко
5
привет, а расскажите как бэкапите свой vault raft cluster CE? я немного почитал и понял, что нужно как-то выполнять vault operator raft snapshot save backup.snapshot подсовыва...
[DBST] Dmitry Knyazev
5
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
@dblackCat Привет. Это же твой плагин? https://octobercms.com/plugin/catdesign-productbundle
Alexey Yakimov
5
Всем привет! Напишите пожалуйста, кто мог бы оффлайн преподавать некоторые курсы по Odoo в Алматы в одном из ВУЗов? Мы сейчас вместе с Odoo запускаем университетскую программу...
Adil Dauletkhan
2
Ты просто гитлеровскую эстетику плохо понимаешь. Он же всё под Цезаря делал. А это как бы запрещённый приём в политике. Пиджаки они зачем все носят? Чтобы показать что они тип...
Ivan Kropotkin
4
Карта сайта