Получается, что если у меня в кластере будет два брокера,

то это можно считать отказоустойчивостью? (на верхнем уровне)

И если у меня первый брокер выходит из строя, то оставшийся второй брокер сможет принимать на себя сообщения?

И тут же возник вопрос - а куда тогда надо натравливать "приложение"?
Ведь если в "приложении" указать адрес подключения (bootstrapserver) первого брокера, а затем "выключить" первый брокер, то куда "приложние" будет писать сообщения?

два брокера это кластер, но не отказоустойчивость в общем понимании при работе с кафкой. Хотя тут надо бы понять что вы считатаете "отказоустойчивостью". Кафка драйвер он же кафка консумер или продюсер и является умным и сам узнает о топологии кластера по любой ноде к которой удалось подключиться. Соответственно вам надо просто указывать хотя бы больше чем один хост

Стикер

я под отказоустойчивостью понимаю, что если "выключить" один брокер, то работа Системы (информационной системы в целом) не остановится, и продолжит работу

не знаю подойдёт ли вам такой ответ - с помощью кафки можно добиться отказоустойчивости в вашем определении. Этого можно достичь за счёт нескольких узлов(брокеров) и реплицирования хранимых данных

ну это както слишком высокоуровнево. А что насчет кучи ньансов по типу целостности данных? А как не убить производительность кафки трафиком репликации после включения ноды обратно или подключением новой и т.п.

да, я примерно в этом направлении смотрю, чтобы сделать два...три брокера. И чтобы при выключении одного из них, можно было бы писать сообщения в топики. (как я это понимаю) Сейчас хочу подружить два хоста (два брокера) между собой, но пока не попадалась информация о настройках для такой реализации. Два брокера - это вообще рабочая схема? А то попадается информация про кворум из трех нод... 🧐

Да, вот такой уровень опыта у меня на текущий момент. Если здесь нельзя с вопросами "от новичков", то дайте знать, пожалуйста.

это просто было чтобы показать что мало думать о количестве брокеров

в целом понимаю, что будет еще куча нюансов, но сейчас начинаю с малого, с начала. База, т.с. )

с малого это завести кластер, начать лить трафик на него и играться с выключениями и смотреть что происходит

Кластер завел. Состоит из одного брокера. Данные могут туда писаться. Сделал ACL (тоже база, начало), простую аутентификацию. Следующим шагом у меня стоит запустить второго брокера на другом хосте и добавить его в "первый" кластер. В Интернете нашел статью, где описываются похожие действия, но там поднимается на одном локальном хосте (т.е. два брокера на разных портах) А меня интересует схема с двумя разными хостами. Как я понимаю, сменой broker.id тут дело не ограничится. Надо еще править zookeeper-файл. Просто я не совсем понимаю в чем прикол поднимать два брокера на одном локальном хосте, когда речь идет о, пусть и начальной, но все-таки, "отказоустойчивости"

Как раз таки смены broker.id должно быть достаточно. Однако следует помнить, что при добавлении второго брокера нагрузка сама на него не переедет.

ну я ещё с metaId поковырялся, и с параметром зукипер-коннект. Сейчас UI показывает, что два брокера в кластере )))))) и даже есть активный контроллер что такое Partition skew? у меня там показывается +- 2.00% Предполагаю, что это связано с какими-то партициями, которые находятся на брокерах, ибо на первом брокере партиций 26, а на втором брокере их 25... В описании брокера Online: 51 of 51 URP: 0 In Sync Replicas: 51 of 51 Out Of Sync Replicas: 0 @vshmukk Aliaksei Спасибо за подсказки!

Стикер

пока пилим так, с ZK. оставил только одного ZK, система вроде как взлетает. А чем может быть проблема: когда в кластере два брокера, то начинаются какие-то тормоза с отображением топиков в UI (да и в кондукторе тоже) Когда выключаю один из брокеров, то топики отображаются корректно, быстро. Заметил такую ситуацию именно при работающих двух брокерах. Предполагаю, что как-то связано с распространением топиков между брокерами... На момент подключения второго брокера на первом брокере уже были топики с сообщениями

что значит тормоза? обычно нет смысла разбираться в лишней тулзе если она так сильно смущает своим поведение и надо бы скриптами нативными обмазываться благо уже все что надо вместе с кафкой идет