Коллеги, я пару раз видел что тут многие пользуются pandas_udf. У

нас сейчас юдфки подключаются как отдельный скала-джарник.
Можно ли рассматривать пандас-юдф как замену в этом случае?
Вроде как пишут, что они намного быстрее питонячих юдф за счёт Arrow, но интересно как они по скорости в сравнении со Скаловскими юдф

5 ответов

8 просмотров

Ит депендс. Скала удф конвертят InternalRow -> Row -> InternalRow Пандас удф сериализуют -> пихают в путон процесс -> сериализуют результат -> десериализуют обратно в жвм Если уже есть кастомный жарник и есть время на эксперименты - попробуй вместо скала удф кастомные экспрешоны сделать Там не происходит конвертация в Row и обратно, эхпрешон пропихивается в кодоген Далее, что на твоих данных будет сильнее влиять - все эти конвертации или сами вычисления? Хз, зависит от того, что именно удфки делают. Бывают ж весьма хитрые Кроме того, если у тебя там вложенные структуры туда-сюда передаются, я не знаю, как пандас в пуспарке с этим работает

Сиплый
Ит депендс. Скала удф конвертят InternalRow -> Ro...

но происходит всеравно сердесер InternalRow => op(value) => InternalRow

Grigory Pomadchin
но происходит всеравно сердесер InternalRow => op(...

Но не всех столбиков фрейма, как я понимаю

Короче, пока на своих данных не потестишь - не узнаешь

Похожие вопросы

Обсуждают сегодня

Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
Ребят, а вот такой вопрос: если я владелец бота анонимного чата, в котором, например, имеются подписки, используя какую-нибудь ЮКассу (или тому подобное, в общем с налогами, в...
Eugene Неелов
8
Гнева и тупости пост. Как блять можно работать с маркетологами? Их в детстве всех родители случайно цепляли об дверные откосы? Поступила таска, на сайте "лишний счетчик Google...
Igor
4
а у тг (бот) апи вообще есть статусная страница, кстати?
e\\/gen
5
Вообще сейчас эти все провайдеры облаков оборзели. Если тебе нужно 4 ядра и 4 гб., хер где такую конфигурацию найдешь. Суют тебе сразу либо 8гб. либоа сразу 16 гб., они мне на...
Igor
4
За последнее время были какие-то изменения в работе ботов, принимающие заявки в каналы? Давно делал бота, сейчас открыл логи, а там сплошь Forbidden: bot can't initiate conve...
Lencore
1
Откуда ты lw взял вообще?
Sergey
6
Есть полностью собранная база "шрифтов" - подобных символов?
Shen
9
Карта сайта