Привет 👋 Хорошо всё шло.. Но дальше запнулся и что-то не

Question

Привет 👋 Хорошо всё шло.. Но дальше запнулся и что-то не

знаю.. Изучаю Scala потихоньку.
Есть
| uid | timestamp|
---------------------
| 555 | 12356788|
| 555 | 16776678|
| 555 | 16657556|
Ну в общем uid дофига одинаковых есть, но из поля timestamp надо выбрать наибольшее значение и вывести с uid. Одна строка получится. Пытаюсь max(expr) использовать:
.withColumn("c_max", max(col("timestamp")))
Но что-то не так делаю. Подскажите или пример такой же скиньте плиз!?

#programming #russian #scala

0

30.03.2021

5 ответов

14 просмотров

Sergey Kaurov Автор вопроса

Evgenii Kuznetcov
https://stackoverflow.com/questions/34249841/spark...

Спасибо, сейчас изучу.

0

30.03.2021

Sergey Kaurov Автор вопроса

Sergey Kaurov
Спасибо, сейчас изучу.

Ну тут максимум не показано как выбрать

0

30.03.2021

Evgenii Kuznetcov

Sergey Kaurov
Ну тут максимум не показано как выбрать

df.groupBy($"key").agg(sum($"value").alias("value")) вместо sum надо max подставить. Я предпочитаю RDD api, так что могу ошибаться, но должно работать

0

30.03.2021

Αλεχ Zhukovsky

Evgenii Kuznetcov
df.groupBy($"key").agg(sum($"value").alias("value"...

тут без групбая можно, достаточно найти индекс максимального timestamp. За линию в 1 проход

0

30.03.2021

Evgenii Kuznetcov · Accepted Answer

Evgenii Kuznetcov

https://stackoverflow.com/questions/34249841/spark-dataframe-reducebykey-like-operation

0

30.03.2021

169 похожих чатов

Привет 👋 Хорошо всё шло.. Но дальше запнулся и что-то не

5 ответов

Похожие вопросы