восстановить состояние в пределах идентификатора? Можно ли полностью перечитать всю партицию для этого или там будет слишком много данных и это некстати)? Стратегия репартицирования? Что делать, когда ты захочешь удвоить количество партиций для горизонтально масштабирования? Будет промежуточное состояние, когда один и тот же идентификатор живет в разных партициях. Да и вообще про консистентность данных и SLA подумать, если они есть.
Я как раз об этом думал, о том что будет если придеться удвоить количество партиций и к чему это приведет. По этому спросил о возможном сущестовании такого механизма на стороне кафка, которая нивелирует возможные проблемы. Предпологаю что задача довольно распространена. Изначально думал написать свою реализацию на стороне приложения, которая по факту является прокси - очередью ))
Обсуждают сегодня