Товарищи, у меня вопрос. Как вы решаете проблему распределения лидеров

Question

Товарищи, у меня вопрос. Как вы решаете проблему распределения лидеров

партиций в кластере? Вот допустим мне удалось распределить все партиции(rf у нас = 3) так, что они равномерно распределены в плане количества штук на брокерах и занимаемого места на дисках. Как теперь перекомбинировать их так, чтобы на брокерах стала одинаковая нагрузка в плане лидеров(т.е. утилизации сетки/диска)? Есть ли тулзы для этого или надо прикручивать свои говноскрипты к метрикам и страдать?

#kafka #russian #software

0

24.04.2019

2 ответов

18 просмотров

Gregory Koshelev

При partition reassignment первый в списке брокер будет предпочтительным лидером (preferred leader). Перебалансировка внутри кластера кафки как раз возвращает лидерство предпочтительным брокерам (если они в списке ISR). Перебалансировка происходит, если много (выше определённого порога) не предпочтительных лидеров в кластере.

0

24.04.2019

Ilgiz · Accepted Answer

Ilgiz

Ну наверное надо правильно подбирать ключ партиционирования, чтобы нагрузка равномерно ложилась

0

24.04.2019

52 похожих чатов

Товарищи, у меня вопрос. Как вы решаете проблему распределения лидеров

2 ответов

Похожие вопросы