Вам кто то мешает мертвый код удалять , апгрейдить старый

?

так идея в том чтобы сделать что-то что будет работать с минимальным сопровождением

Так вы можете пойти путем sql и ничего не менять

Ничего не менять это держать вагон версий спарков, со всеми вытекающими

Вы же держите вагон sql в который никто не смотрит годами ?

Ну вот круг и замкнулся, если мы хотим сделать решение которое надо минимально сопровождать - пишите на SQL Thanks for playing)

всем спасибо!

даже десятилетиями)

Только потому что сопровождать очень дорого ?

потому что работает, зачем трогать?

По той же причине многие ещё с чековыми книжками ходят, а проблема сопровождения решается раздуванием штата ?

Но базу можно обновлять и получать плюшки от более эффективного оптимизатора и тд В случае старых спарков это freeze полный Про это и говорилось, что заморозка изменения sql и написанной спарк программы имеет разное поведение

Базу можно обновлять , но там также могут вылезти баги

при чем тут чековые книжки, вы реально считаете что абсолютно все индустрии каждые 10 лет радикально меняются? вы знакомы с пенсионными фондами, к примеру?

Они не могут меняться просто потому что решения которые они применяют не сопровождаемые и не молифирцемые

ну вот пример кода нашего СЕО - в банке из Нордикс, там нет чековых книжек