169 похожих чатов

Всем мастерам и ученикам салют. Подскажите кто сравнивал и вообще

оценивал потенциал R. Просто очень много времени потерял пытаясь все свои задачи тащить исключительно на PBI, а сейчас часть пилю на SQL сервере, часть в пандах, а остальное в PBI. И вот наткнулся на R. На данный момент мне очевидно, что универсального средства нет, так sql сервер делает вычисления на миллионы строк, pandas отлично "итерирует", а в PBI хорошо "сшивать/перешивать" модель данный. А как вы именно используете R, как он работает с датасетами с миллионами строк? То, что визуализация у него круче это бесспорно, а в остальном? Не хотелось бы опять методом проб и ошибок, хочу услышать мнение "бывалых".

10 ответов

16 просмотров

Зависит от задач. Обычно миллионы строк — чихнуть не успеешь. А pbi во многих задачах может быть заменён shiny, причём куда успешнее. Панду вообще лучше не трогать — их косяки неоднократно обсуждались.

German-Rikov Автор вопроса
Ilya Shutov
Зависит от задач. Обычно миллионы строк — чихнуть ...

Спасибо за отклик, интересно... Панды действительно лагают ( у меня на datetime и локации) но их скорость и "пакетный"(батчевый подход) хорошо решает многие задачи. Но ни панды ни PBI не могут сделать нарастающий итог с группировкой по 4 столбцам если количество строк больше 10 миллионов. Пришлось прибегнуть к mySQL. А у Вас какой придел вычислений в rstudio?

German Rikov
Спасибо за отклик, интересно... Панды действительн...

Легко. Пересаживайтесь не раздумывая. Бенчмарки Вам в аргументацию: https://h2oai.github.io/db-benchmark/

German-Rikov Автор вопроса
Ilya Shutov
Легко. Пересаживайтесь не раздумывая. Бенчмарки Ва...

мой датасет 70 лямов, как вы думаете потянет с группировкой с кумулятивным итогом?

Vitalijs
У меня где то 228M

И группировка в data.table без проблем)

German-Rikov Автор вопроса
Vitalijs
И группировка в data.table без проблем)

Огогули а сколько оперативной на Вашей машине?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта