Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Вопрос чисто из любопытства. Допустим, у меня есть файлы с
некоторыми данными, рассованными по директориям структуры /09/27/01 (27 сентября, с часу ночи до двух). Я хочу отпроцессить это дело спарком и разложить точно такой же структурой (названия файлов значения не имеют, я просто хочу потом иметь возможность посчитать некоторые вещи за конкретный период без чтения всего датасета). Это реально без фор-лупа, который создает и записывает DF на каждую комбинацию?
Если перефразировать и упростить: есть ли какая-то интерполяция в терминальных методах write, i.e. использование значений из самих данных?
2 ответов
Etki
Автор вопроса
Я в это дело пока только влезаю - я правильно понимаю, что можно отпартицировать по нужной комбинации, сохранить паркетом (только ли паркетом?), и потом через sql (только ли через sql?) запросить нужный интервал без чтения лишнего?
Похожие вопросы
Обсуждают сегодня