Коллеги, я пару раз видел что тут многие пользуются pandas_udf. У

нас сейчас юдфки подключаются как отдельный скала-джарник.
Можно ли рассматривать пандас-юдф как замену в этом случае?
Вроде как пишут, что они намного быстрее питонячих юдф за счёт Arrow, но интересно как они по скорости в сравнении со Скаловскими юдф

5 ответов

6 просмотров

Ит депендс. Скала удф конвертят InternalRow -> Row -> InternalRow Пандас удф сериализуют -> пихают в путон процесс -> сериализуют результат -> десериализуют обратно в жвм Если уже есть кастомный жарник и есть время на эксперименты - попробуй вместо скала удф кастомные экспрешоны сделать Там не происходит конвертация в Row и обратно, эхпрешон пропихивается в кодоген Далее, что на твоих данных будет сильнее влиять - все эти конвертации или сами вычисления? Хз, зависит от того, что именно удфки делают. Бывают ж весьма хитрые Кроме того, если у тебя там вложенные структуры туда-сюда передаются, я не знаю, как пандас в пуспарке с этим работает

Сиплый
Ит депендс. Скала удф конвертят InternalRow -> Ro...

но происходит всеравно сердесер InternalRow => op(value) => InternalRow

Grigory Pomadchin
но происходит всеравно сердесер InternalRow => op(...

Но не всех столбиков фрейма, как я понимаю

Короче, пока на своих данных не потестишь - не узнаешь

Похожие вопросы

Обсуждают сегодня

А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Напомните пожалуйста, v1.1 работает на PHP 8.2?
Ross
7
А что насчет FluentValidation? тоже ведь есть альтернатива у МС.
devman
13
Ребят, всем привет) Кто юзал/юзает Postgres? Я на MySQL сделал простенький сайт для диплома, но я внезапно обнаружил условие что надо было на Postgres) Проблема в том, что я н...
Dororo Steeeve
4
Спасибо. Начну с клиент-сервер. Там разберусь И еще вопрос - можно ли как то джобы отправлять на определенные клиенты? Например есть vdi и linux машина. Можно ли задачу оправ...
Sergey Ivanov
4
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Всем привет! подскажите, кто-то использовал vault + гео-распределенный etcd-кластер (мемберы в разных цодах)? какие есть подводные камни? и стоит ли вообще такое делать?
Василиса Васильева
4
Тут кто-то шарит в мед оборудовании?
Benz
10
Диски перестали работать почему-то в Нидерландах тогда. 0кб в сек Никто как я понял не сможет посоветовать vds в Нидерландах ?
Stargrapefruit
16
Карта сайта