Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
Big Data Science :: AI / ...
pro.kafka
3ds Max
DevsHelper
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
ru_gitlab
OctoberCMS
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Software Design/Architect...
Evolution CMS
Odoo talks & fun
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
Google Cloud Platform_ru
.NET Group
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Коллеги, я пару раз видел что тут многие пользуются pandas_udf. У
нас сейчас юдфки подключаются как отдельный скала-джарник.
Можно ли рассматривать пандас-юдф как замену в этом случае?
Вроде как пишут, что они намного быстрее питонячих юдф за счёт Arrow, но интересно как они по скорости в сравнении со Скаловскими юдф
5 ответов
Ит депендс. Скала удф конвертят InternalRow -> Row -> InternalRow Пандас удф сериализуют -> пихают в путон процесс -> сериализуют результат -> десериализуют обратно в жвм Если уже есть кастомный жарник и есть время на эксперименты - попробуй вместо скала удф кастомные экспрешоны сделать Там не происходит конвертация в Row и обратно, эхпрешон пропихивается в кодоген Далее, что на твоих данных будет сильнее влиять - все эти конвертации или сами вычисления? Хз, зависит от того, что именно удфки делают. Бывают ж весьма хитрые Кроме того, если у тебя там вложенные структуры туда-сюда передаются, я не знаю, как пандас в пуспарке с этим работает
Ит депендс. Скала удф конвертят InternalRow -> Ro...
но происходит всеравно сердесер InternalRow => op(value) => InternalRow
но происходит всеравно сердесер InternalRow => op(...
Но не всех столбиков фрейма, как я понимаю
Короче, пока на своих данных не потестишь - не узнаешь
Похожие вопросы
Обсуждают сегодня