Коллеги, я пару раз видел что тут многие пользуются pandas_udf. У

Question

Коллеги, я пару раз видел что тут многие пользуются pandas_udf. У

нас сейчас юдфки подключаются как отдельный скала-джарник.
Можно ли рассматривать пандас-юдф как замену в этом случае?
Вроде как пишут, что они намного быстрее питонячих юдф за счёт Arrow, но интересно как они по скорости в сравнении со Скаловскими юдф

#hadoop #russian #software

0

05.10.2023

5 ответов

19 просмотров

Grigory Pomadchin

Сиплый
Ит депендс. Скала удф конвертят InternalRow -> Ro...

но происходит всеравно сердесер InternalRow => op(value) => InternalRow

0

05.10.2023

Сиплый

Grigory Pomadchin
но происходит всеравно сердесер InternalRow => op(...

Но не всех столбиков фрейма, как я понимаю

0

05.10.2023

Grigory Pomadchin

Сиплый
Но не всех столбиков фрейма, как я понимаю

именно так

0

05.10.2023

Сиплый

Короче, пока на своих данных не потестишь - не узнаешь

0

05.10.2023

Сиплый · Accepted Answer

Ит депендс. Скала удф конвертят InternalRow -> Row -> InternalRow Пандас удф сериализуют -> пихают в путон процесс -> сериализуют результат -> десериализуют обратно в жвм Если уже есть кастомный жарник и есть время на эксперименты - попробуй вместо скала удф кастомные экспрешоны сделать Там не происходит конвертация в Row и обратно, эхпрешон пропихивается в кодоген Далее, что на твоих данных будет сильнее влиять - все эти конвертации или сами вычисления? Хз, зависит от того, что именно удфки делают. Бывают ж весьма хитрые Кроме того, если у тебя там вложенные структуры туда-сюда передаются, я не знаю, как пандас в пуспарке с этим работает

52 похожих чатов

Коллеги, я пару раз видел что тут многие пользуются pandas_udf. У

5 ответов

Похожие вопросы