может захватить указанное количество воркеров на кластере, то он сидит и тупит, пока нужное количество не освободится, а не запускает по отдельности таски на доступных?
Я с такой проблемой не сталкивался, сколько запускал джобы - начинает работать на частичном количестве экзекуторов. А вообще, если много юзеров, лучше использовать динамическую аллокацию ресурсов
Обсуждают сегодня