А кафка может на лету менять количество партиций? Я так

Question

А кафка может на лету менять количество партиций? Я так

понимаю что нужно в идеале чтоб количество партиций и консьмеров совпадало. Но вот у нас в кубере автоскалирвоание реплик, при нагрузке добавление будет. Можно в кафке как то тоже скзать что добавь портишин?

#kafka #russian #software

0

18.11.2022

3 ответов

24 просмотра

Владислав Килин

Вячеслав
Нет. Добавление партиций - это вообще тяжёлая и до...

Консистентное хеширование и в теории накидывать новые партиции можно без особой боли (не считая неравномерного распределения). Но убирать партиции - это да, верный способ отстрелить себе колено.

0

18.11.2022

Вячеслав

Владислав Килин
Консистентное хеширование и в теории накидывать но...

А это как? Вот давайте потеоретизируем. У вас есть три партиции, есть какой-то хэш, который все сообщения распределяет по этим трём партициям. Вот мы добавили четвёртую. И что происходит?

0

18.11.2022

Вячеслав · Accepted Answer

Нет. Добавление партиций - это вообще тяжёлая и до некоторой степени деструктивная операция (потому что привязка ключей к партициям "ломается"), которую надо делать аккуратно. Делайте сразу с запасом, прикиньте максимум, до которого вы собираетесь масштабироваться. Если у вас больше партиций, чем консьюмеров - это не страшно. В идеале, чтобы оно было кратным (т.е. 2 консьюмера - 2, 4, 6 партиций, 3 - 3, 6. 9, и т.п.), но если нет - это не особо страшно.

52 похожих чатов

А кафка может на лету менять количество партиций? Я так

3 ответов

Похожие вопросы