(постгре) через ODBC.
На очередной итерации имею массив айдюков источника, которые изменились или добавились (по last_update).
Не хватает операции типа UPSERT/MERGE, чтобы только лить изменения - приходится сначала удалять старые записи, так как дубли (старые и новые) не допустимы по бизнес логике.
Как лучше всего сделать эффект UPSERT/MERGE?
Видел ReplacingMergeTree - но там прямо пишут, что не расчитывайте, оно будет чистить в фоне, существование дублей возможно какое-то время.
Тоже самое с CollapsingMergeTree - это асинхронно, кроме того, это менее удобно, так как надо писать по две записи (одна из которыз сторнирующая).
сколько записей? с ReplacingMergeTree можно жить, но нужно учитывать возможность дублей(либо составлять так что бы дубли не мешали, либо писать FINAL но это дольше будет, возможно сильно дольше)
Обсуждают сегодня