52 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
DevsHelper DevsHelper
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
ru_gitlab ru_gitlab
OctoberCMS OctoberCMS
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Software Design/Architect... Software Design/Architect...
Evolution CMS Evolution CMS
Odoo talks & fun Odoo talks & fun
pro.buildsystems pro.buildsystems
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
Google Cloud Platform_ru Google Cloud Platform_ru
.NET Group .NET Group
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
Netbeans [RU] Netbeans [RU]
Data Engineers Data Engineers
Dmitry-Zuev

Коль мы тут рассуждаем про высокие материи, поправьте меня, но

hash join в спарке не умеет в спилл на диск же?

#hadoop #russian #software
0

6 ответов

5 просмотров
Alex-

Там же вроде фолбек на sorted merge если хештаблица превышает размер В чате даже код сбрасывали, когда разбирались можно ли енфорснуть сортмерж или нет (нет, нельзя, если совсем в кишки не лезть)

0
8 месяцев назад
Artem-

Там помнится где-то внутри ByteToBytesMap лежит, который мемори консьюмер. А у них вроде спилл привязан к глобальным конфигам. Но тут могу и соврать - давно в те глубины погружался

0
8 месяцев назад
Dmitry-Zuev Автор вопроса
Artem
Там помнится где-то внутри ByteToBytesMap лежит, ...

Ну шафл спил это другое

0
8 месяцев назад
Dmitry-Zuev Автор вопроса
Alex
Там же вроде фолбек на sorted merge если хештаблиц...

Интересно, потому что в этом случае должен быть сорт... Типа сначала эстимация размера хэштаблицы?

0
8 месяцев назад
Artem-
Dmitry Zuev
Ну шафл спил это другое

Хз, что там, что при мердж сорте по идее должен шпиллиться набор строк по ключу одного из датасетов если нет возможности сделать джойн только на итераторах или этот буффер не вписывается в конфиг по памяти

0
8 месяцев назад
Alex-
Dmitry Zuev
Интересно, потому что в этом случае должен быть со...

так сорт всегда на мэперах случается поэтому фетч забирает уже отсортированные файлы

0
8 месяцев назад

Похожие вопросы

Data Engineers Data Engineers / Dushman
Подписаться

Подскажите , а звезду кх вывезет?

#hadoop #russian #software
08.10.2023
0
46 ответов
Data Engineers Data Engineers / Alexey Evdokimov
Подписаться

Я обещал запилить FAQ по Data Cooker ETL. Запиливаю. Q. Что это такое? A. Специализированный инструмент для а) быстрого создания ETL процессов и б) эффективного по стоимост...

#hadoop #russian #software
21.09.2023
0
3 ответов
Data Engineers Data Engineers / Alexey Evdokimov
Подписаться

Q. Ну так в чём проблема хранить JSON в поле? Схему задал, и вперёд. A. Так в датакукере схему вообще задавать не нужно, он изначально schema-less. Если нужно обратиться к ат...

#hadoop #russian #software
21.09.2023
0
5 ответов
Data Engineers Data Engineers / Dushman
Подписаться

Салют ! У двух шардов в кх общий интерфейс при подключении на отдельном сервере должен быть?

#hadoop #russian #software
05.05.2023
0
49 ответов
Data Engineers Data Engineers / Pavel Tarasov
Подписаться

Всем привет. Я тут делаю первый раз в жизни DWH (кажется) и к сожалению я (с on hands опытом только в PG и пайтоне) самый опытный на проекте, так что сам придумываю дизайн. Мо...

#hadoop #russian #software
31.07.2023
0
24 ответов
Data Engineers Data Engineers / Annette
Подписаться

Всем добрый день! Подскажите, пожалуйста, никто не работал с dbt core? А также связкой dbt с hdfs? Нужна помощь с подключением dbt к hdfs для чтения файлов

#hadoop #russian #software
31.10.2023
0
22 ответов
Data Engineers Data Engineers / Anton Bukreev
Подписаться

Всем привет. Есть вопрос по Debezium. Он крутится в кубере, поды падают в крашлуп совершенно случайно и не системно на разных источниках данных. Есть корреляция с нагрузкой на...

#hadoop #russian #software
12.10.2023
0
1 ответов
Data Engineers Data Engineers / Иван
Подписаться

Предложили из бекендера, стек (java/groovy) перейти в de. Разработка etl java приложений, стек (java, nifi, airflow, hadoop). Самому интересно попробовать новые технологии, в...

#hadoop #russian #software
02.10.2023
0
23 ответов
Data Engineers Data Engineers / Dushman
Подписаться

Чтобы разрабатывать на кафке баша хватит или джава нужна?

#hadoop #russian #software
12.09.2023
0
27 ответов
Data Engineers Data Engineers / Mark
Подписаться

Приветствую. Подскажите пожалуйста кто работал с JSON в Spark. Есть N табличек (parquet), нужно по определенной логике собрать их в один большой JSON, пример: { "master_id":...

#hadoop #russian #software
12.11.2023
0
8 ответов
Смотреть еще
Data Engineers Data Engineers
Подписаться
Вопросов 1585
Ответов 5598
Участников 4851
Telegram @hadoopusers

Обсуждают сегодня

Диски перестали работать почему-то в Нидерландах тогда. 0кб в сек Никто как я понял не сможет посоветовать vds в Нидерландах ?
Stargrapefruit
16
Ребя, тут спрашивают, что лучше использовать для юзербота на java? 👀
Mars BATYA [NYА]
12
какая максимальная длительность голосового сообщения может быть?
Косоглазый Циклоп
4
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
оплату инвойса вот так ловить?
Roma
3
а есть какая нить ссылка для быстрого открытия меню со старсами? типа tg://stars
Андрей
6
соответственно, вопрос: рекламировать где?
Akcium Сергей
7
Друзья, привет! Попадает ли под нарушение такой сценарий: Бот выдаёт ссылку на личный сайт проекта (не сайт платёжной системы), где пользователь может пополнить свой условны...
Альберт Габдрахманов
5
if (user?.choseType === 'oneDay') { await ctx.reply( 'Добро пожаловать в команду «Магнита»! Правда, на один день ☺️ ', ); await ctx.s...
Kokni
1
D с большой буквы?
Михаил Фрускейт
8
Карта сайта