Всем привет! Пришлось начать работать с Spark Java Api ,

Question

Всем привет! Пришлось начать работать с Spark Java Api ,

не могу понять, как мне сделать в DataSet колонку на основании фукнции (построчно) к другой колонке.
Если на SQL то update some_table set some_number_column_2 = some_number_column_1 + 1;
Как написать на Spark Java Api? не могу найти в документациях пример )
someDataset = someDataset.withColumn("some_number_column_2", col("some_number_column_1" + 1)) -- как тут добавить 1?
(пример вымышленный, для краткости вопроса))))
Буду признателен за любую помощь ))))

#hadoop #russian #software

0

05.08.2023