169 похожих чатов

Всем мастерам и ученикам салют. Подскажите кто сравнивал и вообще

оценивал потенциал R. Просто очень много времени потерял пытаясь все свои задачи тащить исключительно на PBI, а сейчас часть пилю на SQL сервере, часть в пандах, а остальное в PBI. И вот наткнулся на R. На данный момент мне очевидно, что универсального средства нет, так sql сервер делает вычисления на миллионы строк, pandas отлично "итерирует", а в PBI хорошо "сшивать/перешивать" модель данный. А как вы именно используете R, как он работает с датасетами с миллионами строк? То, что визуализация у него круче это бесспорно, а в остальном? Не хотелось бы опять методом проб и ошибок, хочу услышать мнение "бывалых".

10 ответов

14 просмотров

Зависит от задач. Обычно миллионы строк — чихнуть не успеешь. А pbi во многих задачах может быть заменён shiny, причём куда успешнее. Панду вообще лучше не трогать — их косяки неоднократно обсуждались.

German-Rikov Автор вопроса
Ilya Shutov
Зависит от задач. Обычно миллионы строк — чихнуть ...

Спасибо за отклик, интересно... Панды действительно лагают ( у меня на datetime и локации) но их скорость и "пакетный"(батчевый подход) хорошо решает многие задачи. Но ни панды ни PBI не могут сделать нарастающий итог с группировкой по 4 столбцам если количество строк больше 10 миллионов. Пришлось прибегнуть к mySQL. А у Вас какой придел вычислений в rstudio?

German Rikov
Спасибо за отклик, интересно... Панды действительн...

Легко. Пересаживайтесь не раздумывая. Бенчмарки Вам в аргументацию: https://h2oai.github.io/db-benchmark/

German-Rikov Автор вопроса
Ilya Shutov
Легко. Пересаживайтесь не раздумывая. Бенчмарки Ва...

мой датасет 70 лямов, как вы думаете потянет с группировкой с кумулятивным итогом?

Vitalijs
У меня где то 228M

И группировка в data.table без проблем)

German-Rikov Автор вопроса
Vitalijs
И группировка в data.table без проблем)

Огогули а сколько оперативной на Вашей машине?

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
Карта сайта