Привет всем может есть идеи, а то недавно похожее обдумывал, и

Question

Привет всем может есть идеи, а то недавно похожее обдумывал, и

пришел что лучшее решение это когда получил сообщение сделать запрос в 3д парти и положить ид для опроса 3д парти в бд
и сделать воркер который будет poll из базы делать и запрашивать статусы определенное кол-во записей, а то сообщений может быть около тысячи-сотни тысяч
но тут узкое место наша база, так как особо не масштабируется

так вот сама задачка, у нас есть фича отправить сообщение(запрос идет на сервис1), но атачмент к нему обрабатывается от 1 минуты до 1 часа
и вот идея была сделать сервис2(который обрабатывает это в фоне) и дает апи мол создать джобу(пошлет в кафку сообщение)
что бы начать фоновый процесс, и сервис1 будет ждать минуту, если сервис2 успел, то возьмет инфу,если нет то без нее отправил, так вот сама проблема в сервис2
потому что если делать так что делатся Consume и шлется в 3д парти запрос на создание и потом в цикле ожидает когда готово(дергает их апи на проверку) то этот процесс может быть по минут 20 и из-за кафки
остальные сообщения в данной партиции застрянут а могли бы к примеру за 10 сек обработаться.
так вот вопрос, как такое можно обойти?

Сервис скейлится на 20+ инстансов

Ограничения:
rabbitmq и тд нельзя, а то ограничение юзать только кафку