Приветствую. Подскажите пожалуйста кто работал с JSON в Spark. Есть N

табличек (parquet), нужно по определенной логике собрать их в один большой JSON, пример:
{
"master_id": 123,
"name": "Aop",
"option": "rq",
"mode": 1,
"code": [1,2],
"number": 324,
"payload": [
{
"p_id": 1,
"table1": {"id": "OpenNew", "label": "Open New"},
"table2": {"param": "Param", "value": "0.2914"},
"tableN": {"N": "N", "N": "N"}},
{
"p_id": 2,
"table1": {"id": "OpenNew", "label": "Open New"},
"table2": {"param": "Param", "value": "0.2914"},
"table3": {"org": "OOO PA", "entyty": [{"id": 12, "orgfoo": "bar1"},{"id": 13, "orgfoo": "bar2"}]},
"tableN": {"N": "N", "N": "N"}
}
]
}

Условие: наличие данных в Таблицах N не гарантируется, т.е. при джойне приходит null. (пример payload p_id = 1 table3 = null)
Задача: сделать динамическую структуру, отсекать null fields в payload на всех уровнях (внутри страктфилдов табличек тоже).
Проблема: На уровне Таблиц решаемо с помощью создания Мапы, но когда поднимаешься на уровень выше перед созданием массива payload (collect_list), map_concat уже не работает (mismatch types)

Смотрел HOF, полезного для себя не нашел ничего (мб плохо смотрел), кто-то сталкивался с подобным?

А чем нуллы мешают? Парсингу они потом никак не мешают

Мисмач тупе скорее всего из-за того, что у тебя где-то лезут структы, а тебе нужна мапа из мап, как я понял

Все верно

Вроде структ в мапу конвертнуть и должно поехать

Но все-таки мне не оч понятно, зачем такую упоротую структуру создавать. Парсить мапу из мап с аррау внутри - будет то еще развлечение

1. Система готовая которая не перестраивается (по не понятным причинам). Типо вот такое требование и все) 2. Хотел sha2 делать на payload для инкремента, слышал, есть проблемы с null, но пока не дошел до этого.

1. Система проклята, и эта хрень еще доставит боли. Надеюсь, все-таки нет, но 2. 🤔 ? Не понял

возьми функцию o.a.s.functions.to_json, сделай такую же, только вместо null сделай чтоп ничего не добавлялось