Ребят, вопрос по спарку. Я написал кастомный агрегатор и использую

его с groupBy. Данные у меня сильно skewed и видимо оч много идет в один партишин. Агрегатору в принципе пофигу сколько партишинов мерджить, но судя по всему groupBy разбивает на партишины по ключам. Можно как-то сказать groupBy’ю, чтобы он как-то умнее репартишинил? Чтобы одна группа разбивалась на несколько партишинов… Знаю что можно соль добавить в ключ и потом вручную сагрегировать по соли, но эт моторно. Разве спарк не умеет чего-то умнее? Если я сделаю репатишин перед groupBy, оно сново сделает репартишин по ключам, так? Вообще зачем агрегатору мердж метод, если все равно вся группа идет в один партишин?


И еще вопрос, можно как-то short-circuit’ь с кастомного агрегатора? У меня бывает что агрегатор посчитал нужное значение уже и проходить по остальным рекордам в группе уже не нужно, можно как-то сделать чтобы агрегатор завершил выполнение раньше? Спасибо!

2 ответов

12 просмотров

Умнее пока ничего нет, делай соль

Cesare Borgia- Автор вопроса
Евгений Глотов
Умнее пока ничего нет, делай соль

А зачем агрегатору тогда метод мерджа?

Похожие вопросы

Обсуждают сегодня

Подскажите, а есть vault lite или ченить такое?) А то нужен вольт для похода в вольт, но весит он ~500 мб) как-то многовато для парочки запросов ))
Alexandr Orloff
17
Всем привет, есть небольшая проблема Есть такой скрипт document.addEventListener('DOMContentLoaded', function () { const sliderTabs = document.querySelectorAll('.s...
A da
8
@go1337 @dblackCat Привет. Все ещё дрочусь с fastpanel. Добавил второй домен который должен смотреть в рут того же сайта, но так как это просто домен, а не сайт, я не могу ему...
Ross 🦴
9
До речі, в ево нема можливості чи якого розширення щоб з адмінки з телефона зайти і терміново щось в верстці поправити?
Женя
7
кто-нибудь пользуется тайм-трекерами во время работы? так много разных нагуглил, может есть что-то популярное
Lencore
8
Пацаны. Я разрабатываю софт для инвайтинга на телетон, и столкнулся с такой проблемой, в один из чатов не могу приглашать никого, не дает добавлять, в то же время через официа...
Kernel Panic
11
Скажите, а кому нужен Currency как отдельный плагин вместо полноценного ecommerce в OctoberCMS? Кто-то использует его уже или планирует в будущем? Может я что-то не понимаю?
Igor
13
Розмовами про Рево мені нагадали часи, коли шаблони правилися прямо в адмінці. Хто в курсі, чому відійшли від цієї практики, так блейд не працює? Доволі зручно ж було (інколи)
Женя
3
Всем добрый вечер, Рад оказаться в кругу единомышленников. Начинаю погружаться в мир .net веба. Зовут Ерасыл 🖖 У меня назрел вопрос: Какой процент проектов, прошедшие через в...
Ерасыл
6
Чому? Да тому що без GiT не уявляю нормального проекта а коли код в базі то то так собі
Dmytro Lukianenko
3
Карта сайта