150гб(сама таблица сильно меньше очевидно из-за сжатия, но json-ов я туда сложил столько), выполнилось за 7 минут на кластере с 56гб оперативы и 16 ядрами(4 дефолтных машины в бриксах). Мерджил я где-то 10гб. Это плохо или средне или как?
в мердже все еще не работает партишион прюнинг?
я из за этого свою материализацию в дбт писал. Когда 10 гигов вливаешь в 150 еще ладно, а вот когда их в 100 терабайт становится больно
Честно говоря не знаю, он он точно поднимает данные в память только те что надо как я понял при мердже
Обсуждают сегодня