Приветствую Может кто подсказать опцию для producer для решение задачи? Задача: producer kafka

Question

Приветствую Может кто подсказать опцию для producer для решение задачи? Задача: producer kafka

должны перемещать между собой коннектор с плагином debezium при проблемах с сетевой доступностью между дц (producer -> pg) (сетевые ножницы)

для решения попробовал бегло поискать параметры в документации debezium, producer, но не нашел

решение костыльное есть, в виде cron скрипта (но скрипт не расчитан именно на миграцию коннектора между инстансами producer, а скорее просто ребутает producer (осталось от древних, на standalone confluent)) - понятно что ему можно дописать чеки в логику и с помощью вытеснения (прибивать службу producer на инстансе) мигировать коннекторы

НО может есть штатные опции чтоб заставить коннекторы "кататься" по инстансам producer, до восстановления тасок и их отслеживания самим producer?

#kafka #russian #software

0

24.11.2022

1 ответов

7 просмотров

German Balandin · Answer 1

дополню для истории поиска debezium похоже не умеет самостоятельно рестартится и принимать решение по недоступности pg https://debezium.io/documentation/reference/1.9/connectors/postgresql.html#postgresql-becomes-unavailable https://debezium.io/documentation/faq/#how_to_remove_committed_offsets_for_a_connector What happens when Debezium stops or crashes? producer тоже явно не умеет отрабатывать статусы тасок придется городить "вытеснение" и хеслчеки отдельной тулой.

52 похожих чатов

Приветствую Может кто подсказать опцию для producer для решение задачи? Задача: producer kafka

1 ответов

Похожие вопросы