в parquet?
40 минут датафрейм записывался в таблицу.
В логах воркеров мог наблюдать процесс. В Stage висела соответсвующая джоба.
Напоследок в логи откинулась инфа об успешной записи, все джобы выполнились и тишина.
Spark-приложение продолжает исполняться, хотя ей бы уже пора завершаться.
Уже полчаса висит так. В логах пусто, я не понимаю что она делает.
Говорят какой-то технический этап там просходит.
может, у вас там dynamic partition overwrite поверх aws s3?
если экзекуторов больше активных нет, значит, основной этап записи завершен
Да действительно Dinamic partition true стоит
в какую файловую систему пишете дату?
Сколько партиций записывается в итоге, и сколько файлов в каждой партиции?
Обсуждают сегодня