= 1 (чтобы просто оставить это вэлью в результирующем фрейме и именно на той позиции на которой находится колонке во фрейме). Я так понимаю, что наличие шаффлинга в группировке никак не зависит от кол-во различных значений в колонке, поэтому вопрос: А если порядок колонки группировки не имеет особого значения, то стоит ли менять groupBy на withColumn("field", value), где value - то самое единственное значение колонки ?
Перформанс по времени и памяти улучшится ?
Избавиться от групбая конечно имеет смысл
Обсуждают сегодня