Всем привет! Имеется кластер с 5 нодами. Хочу протестировать поведение

Question

Всем привет! Имеется кластер с 5 нодами. Хочу протестировать поведение

в случае отказа части нод. Отключаю две (чтобы количество зукиперов было не чётным). В итоге кластеру становится плохо и получаю ошибку по рассинхрону топиков. Пробовал рестартовать 3 отсавшихся зукпиера и целиком брокеры - не помогает. Параллельно получаю ошибку " 2 partitions have leader brokers without a matching listener, including"

Заметил, что брокеров должно быть не меньше, чем минимальное количество реплик у топиков (не путать с min_sync...). То есть если есть хотя бы один топик с фактором репликации равным 4, то нужно иметь хотя бы 4 живых брокера.

Но тогда возникает вопрос - как корректно обрабатывать ситуации, когда часть брокеров становится недоступной?
Есть мысль - выставить replication_factor у всех топиков = 2, плюс у всех нод выставить rack_id. Тогда минимальное количество нод для корректной работы будет = 2

#kafka #russian #software

0

08.10.2022