Всем добрый день Вопрос не совсем про R (R участвует в

процессе) но нужен Ваш совет. Мб есть бест практик

Ситуация

Через R достаю много различных данных и сохраняю в csv формате на сервере (более 1000 тыс файлов каждый день). На выходе имею 15+ таблиц с кол-вом строк до 10 лямов. Ранее обрабатывали через PQ + модель данных и тот с горем пополам все это дело кушал. Для нужд отдела (2 сотрудников) - этого решения хватало. Но как это обычно бывает, пришли соседи из отдела Х и сказали, хотим так-же только быстрее а то PQ медленно, сделайте нам!

Задача - нужно все данные из тысячи файликов агрегировать, смерджить, расчеты иметь возможность провести и дать возможность нашим аналитикам гонять эти цифры туды сюды в .... экселе. Данные обновляются/добавляются раз в день (загружаются данные через R + планировщик)

Из того что дано - локальный серв с правами
Из знаний - R, sql (оконки, джойны) , ексель (vba, PQ). Немного теории о БД. Если что то допом понадобится - гугл под рукой, изучить не боюсь хД

Собственно - куда копать, в какую сторону смотреть? Желательно с минимальными вложениями времени. мнения, мысли, все будет плюсом. Если стесняетесь тут или писать долго, можно в личку или через аудио сообщеньку. Как говорится - буду рад любой помощи))

Из того что порекомендовали - олап куб создать. Мб есть еще вары по проще??)

Рекомендация хорошая, для пользователей экселя с одной стороны отлично, для разработчика с другой стороны - довольно просто. Когда я последней раз видел, как его собираеют, это всё делается поинт анд кликом в VS. Если в БД данные более менее нормально хранятся (звездой/снежинкой), то всё будет супер. А если будут сложные метрики какие-то, то будете плеваться на MDX/DAX, хотя ничего сверхсложного там нет. Ну и как всегда, если всё можно запихать в широкую плоскую таблицу - подумайте над КЛикхаусом, он хотя бы бесплатный))

data.table — решение ваших проблем + odbc + writexl

а есть возможность файлики перевести в БД?

Да. Ее только развернуть нужно будет

Через R могу разве создать olap куб?

🔥. Спасибо

Проверенный способ — R+CH. Все сырье в широкую таблицу. 10 млн строк, увы, в excel не влезут. И никаких кубов… посадить на таблицу dbeaver и пусть изыскивают

Это же SQL учить! Нет уж, давайте в эксельчеке (голосом менеджера))

Всеми руками за, но 10 млн не влезают :( storytelling для менеджеров лучше. Неоднократно проверено. Кратко пояснял тут: https://habr.com/ru/post/556390/

Мне сегодня босс показывал, как обновлять отчёт в ехеле. 600к строк в исходнике, 10 сводников. В итоге минуту всё висело, а потом просто вылетело. Давно я так не злорадствовал

"Смотри, щенок, где батя воевал"))