function drop_part { DB_NAME="$1" TBL_NAME="$2" PART_NAME="$3" ALL_CLUSTER="$4" if [ "${ALL_CLUSTER}" = "1" ]; then SERVER_LIST=`cat ${scriptr...

@xhumanoid напомни пож, у тебя получилось ливи собрать под спарк 3.2 и скалу выше 2.11? Долгий какой-то был дискурс про бинарную несовместимость из-за високосного бита.

А что с чем джойнится? Интенсивный лефт жойн неинтенсивный?

Коллеги, сталкивался ли кто-то? (version 19.16.2.2 (official build)) 2019.11.05 17:52:39.108303 [ 176 ] {2c3546c7-f640-4001-99ff-3b7bc14cc378} <Error> executeQuery: Code: 159...

Привет. Кто-нибудь сталкивался с тем, что insert into tgt select sum(col1+col2+col3) from src работает 7 секунд, а insert into tgt select * from (select sum(col1+col2+col3) ...

Никто не встречал такую неведомую ебанную хуйню? Пытаюсь мавеном собрать спрако-код 2.4.5/2.11 под 3.2.0/2.12 jvm 11

А кто шарит за компараторы в жабке? Я вот никак не могу отдуплить, как происходит такая сортировка если компаратор возвращает просто инт разницу каких-то двух полей двух объек...

https://stackoverflow.com/a/53702158/8564653 @blinkovivan, будьте добры, поянсите, пожалуйста, что понимается под «retries of INSERT INTO» в комментарии выше? В каких ситуаци...

А как-то можно несильно геморно сгенерить жирный датафрейм на ярд записей? val df = 1.to(1000000000).toDF("digit") чет приунывает

А кто в случае spark-on-yarn формирует порядок для java -cp ? spark-submit ?

поставили терадатку? нафиг скаласпрак?

Добрый день. Кто-то сталкивался? Выше писали, что пофиксили еще в 19.15. Но в 19.16 сохраняется. 2019.12.17 15:05:28.203337 [ 435 ] {} <Fatal> BaseDaemon: (version 19.16.2.2...

Может надо оптимизировать докер файл?

а обычные футурам не даст параллельно почитать?

А может теоретически такое случиться, что один и тот же батч был послан дважды и дважды записан на удаленный шард? Например, из-за нагрузки на zookeper и диск? Я ловлю такие ...

Всем привет. Подскажите, пожалуйста, есть ли возможность как-то ограничивать размер БД? Ну типа квот на место на диске.

Коллеги, в документации читаю «таким образом, ReplacingMergeTree подходит для фоновой чистки дублирующихся данных в целях экономии места, но не даёт гарантии отсутствия дублик...

а то что ярн должен был смочь гонять докерные контейнеры уже все, тема притухла?