Всем привет. Есть вопрос по Spark&Databricks&Delta. Дескрипшн что происходит У меня есть

сильвер таблицы разбитые скажем по кривым. От этих сильвер таблиц кормится голд слой (если округлить, по сути просто объединенная таблица по всем кривым).
Нужно обновлять эту голд таблицу с минимальным делеем (даже 5 минут сказали много, btw данные не для аналитики).
Навесить вьюшку нельзя, потому что запрос к вьюхе выполняется слишком долго (требование к времени выполнения простого запроса на голд таблице 1-2 сек, а с вьюхой >15-30c)
Материализованная вьюха от бриксов обновляется самое быстрое - 5 мин, так как под капотом DLT, которые долго расчехляются.
Грузить стримом нельзя, потому что на сильвер слое делаются мержи, а стрим будет падать на апдейтах.
Соответственно единственный (как я вижу) способ - батч. Я смогла ужать интервал обновления минут до 2-3х, но поступило предложение грузить апдейты сильвер таблиц сразу после апдейта самой сильвер таблицы в параллель.
Вопрос
Concurrency error при мерже - будет ли он происходить, если два параллельных мержа не затрагивают строки на апдейт друг друга, т.е. работают с данными из разных кривых, например если голд будет спартицирован по айди кривой? (я конечно все равно буду чекать, но если кто-то знает с берега сразу, сильно облегчит жизнь). Может кто-то уже успел протестить liquid clustering с его построчной изоляцией и может поделиться наблюдениями? Ну и если кто-то знает адекватный способ апдейта голда в моем случае - буду очень признательна

А, снова тот случай с записью из н джоб в одну таблицу?

а в чем проблема мерджить в стриме?