за пределы заданного количества экзекьютеров и съедает все ресурсы, из-за чего может быть?
Репартишен в сторону увеличения партишенов? На мониторинге что-то видно необычное?
Такого быть не должно, даже если репартицируете на кол во большее чем екзекуторов, то оставшиеся будут ждать своей очереди, можете проверить поменяв repartition на coalesce
Обсуждают сегодня