давно был написан так что бы постоянно поллить источник, разбивать листы сообщений на интервалы и асинхронно их процессить. встала задача переписать его с поллинга прошлого источника на кафку - как вообще в таких случаях управлять оффсетами и можно ли вообще коммитить в кафку оффсеты не по порядку? сорян за тупые вопросы, книжку не успел дочитать
Я тоже книжку не дочитал, но попробую ответить ) При создании топика необходимо указать количество партиций, это и будут "интервалы" для экземпляров консюмеров. При добавлении сообщения в топик указывается ключ, по целочисленному остатку от деления хеша ключа определяется в какую из партиций попадет сообщение. Как видите работа с "интервалами" доступна сразу и возможно не понадобится специально управлять фиксациями смещений.
А какой был "прошлый источник"?
Обсуждают сегодня