при чтении из кафки? Допустим, есть 5 серверов, все читают свои партишены из кафки, все класс. Появляется необходимость добавить еще 5 - и тут хочется начать лить на новые сервера больше трафика, пока «равномерно» не заполнится весь кластер из (теперь уже) 10. Мы пока решили отдельными топиками и балансировкой на уровне продьюсеров, но это немного ад - есть какое-то альтернативное решение?
например указать вес новых 5 шардов больше чем старых в конфиге и писать из кафки в distibuted таблицу
делать количество партишнов у топика >= количеству консумеров
Обсуждают сегодня