Всем привет! Есть кейс, с которым ранее не сталкивался, хотел бы

совета вашего спросить, как лучше его решить.
Суть:
Читаем из Кафки консьюмером сообщения, постоянно обновляя мутабельную мапу, в которой всегда последние не нулевые значения каждого поля по каждому ID, пришедшему из кафки.
В мапе ID уникальные.
Далее надо эту мапу постоянно overwrite в постгрес.
Как грамотно распараллелить код, чтоб пока мапа пишется в постгрю, продолжать считать из кафки, обновляя мапу?
Когда запись в постгрю будет завершена, берем сразу текущую мапу и опять в постгрю пихаем..
За ранее спасибо за советы, надеюсь))

Из мапы значения удаляются?

А можете пример мапы написать и в какую примерно таблицу она скидывается? Мапа вида: {ID: value} и пишется в соотв. таблицу?

Нет, мутабельная мапа, после каждого сообщения из кафки в мапе апдейтится value по ключу

Мапа прям стандартная Map[String, Map[String, String]], но приземлять надо в таблицу не с двумя столбцами key-value, a внутреннюю мапу я парсю, если вы к этому

не проще временную таблицу сделать вместо мапы? Данные из временной таблицы переносить в ту постоянную, что в пг, а после завершения джобы - дропать временную таблицу

А у вас в каждом сообщении полная мапа которую сохранить целиком?

Не, каждое сообщение обновляет одну запись k, v в мапе