Коль мы тут рассуждаем про высокие материи, поправьте меня, но

Question

Data Engineers

Dmitry Zuev

Коль мы тут рассуждаем про высокие материи, поправьте меня, но

hash join в спарке не умеет в спилл на диск же?

#hadoop #russian #software

0

03.10.2023

6 ответов

15 просмотров

Artem

Там помнится где-то внутри ByteToBytesMap лежит, который мемори консьюмер. А у них вроде спилл привязан к глобальным конфигам. Но тут могу и соврать - давно в те глубины погружался

0

03.10.2023

Dmitry Zuev Автор вопроса

Artem
Там помнится где-то внутри ByteToBytesMap лежит, ...

Ну шафл спил это другое

0

03.10.2023

Dmitry Zuev Автор вопроса

Alex
Там же вроде фолбек на sorted merge если хештаблиц...

Интересно, потому что в этом случае должен быть сорт... Типа сначала эстимация размера хэштаблицы?

0

03.10.2023

Artem

Dmitry Zuev
Ну шафл спил это другое

Хз, что там, что при мердж сорте по идее должен шпиллиться набор строк по ключу одного из датасетов если нет возможности сделать джойн только на итераторах или этот буффер не вписывается в конфиг по памяти

0

03.10.2023

Alex

Dmitry Zuev
Интересно, потому что в этом случае должен быть со...

так сорт всегда на мэперах случается поэтому фетч забирает уже отсортированные файлы

0

03.10.2023

Alex · Accepted Answer

Alex

Там же вроде фолбек на sorted merge если хештаблица превышает размер В чате даже код сбрасывали, когда разбирались можно ли енфорснуть сортмерж или нет (нет, нельзя, если совсем в кишки не лезть)

0

03.10.2023

52 похожих чатов

Коль мы тут рассуждаем про высокие материи, поправьте меня, но

6 ответов

Похожие вопросы