табличу до актуального состояния. Вот есть у меня воркер. Он собриает в key-value хранилище ~100млн строк. Все эти строки хочется получить в таблице в PG. Причем те, которых нет в KV хранилище, удалить. И тут такое дело. Есть воркер2, который постоянно читает значения таблички в PG. Может кто-нибудь подсказать наиболее оптимальное решение данной "перестановки"?
Либо журнал как-то вести воркерам над k-v storage (или самому k-v storage), либо в k-v storage писать время последней операцыи (но с удалением так не прокатит, только если есть какой-то вид soft delete или хотя бы выборка удалённых), либо делать полное сравнение поэлементное.
В принцыпе, поэлементное сравнение -- это не так и больно, на самом деле. В обоих storage один проход какбы.
Обсуждают сегодня