К слову сделал я Мердж на дельта таблицу размером в

150гб(сама таблица сильно меньше очевидно из-за сжатия, но json-ов я туда сложил столько), выполнилось за 7 минут на кластере с 56гб оперативы и 16 ядрами(4 дефолтных машины в бриксах). Мерджил я где-то 10гб. Это плохо или средне или как?

3 ответов

15 просмотров

в мердже все еще не работает партишион прюнинг?

Vitaly Pismarev
в мердже все еще не работает партишион прюнинг?

я из за этого свою материализацию в дбт писал. Когда 10 гигов вливаешь в 150 еще ладно, а вот когда их в 100 терабайт становится больно

Vadimio- Автор вопроса
Vitaly Pismarev
в мердже все еще не работает партишион прюнинг?

Честно говоря не знаю, он он точно поднимает данные в память только те что надо как я понял при мердже

Похожие вопросы

Обсуждают сегодня

Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Добрый день. Мне посоветовали обратиться к вам в чат за помощью. Ситуация описана на скрине. Как мне сказали, мне на бота навесили флудвейт. Есть ли возможность снять его ра...
OVERLINK
7
Просто по очереди выпиливаешь на ручной маппинг? По методу за раз
Andrii Kurdiumov
7
И? Все равно глазами проверять надо каждое поле
Andrii Kurdiumov
4
Ну есть у нас десяток компаний которым надо. Остальным то зачем?
Andrii Kurdiumov
4
Приветствую. А не подскажете какие ограничения есть на использования api метода setMyName ? Несколько раз сменил имя бота и получил бан на 2 месяца на смену имени.
Slick Slack
8
Всем привет! Взялся портировать модули на 18 версию, лезет _logger.log(log_level, 'no translation language detected, skipping translation %s', frame, stack_info=True) А чт...
Max Lit
3
Доброе утро, а кто то делал Google аналитику через php ? curl_setopt($ch, CURLOPT_NOSIGNAL, true); Это должно быть async без ожидания ответа. Вообще php нормально с таким с...
Max Dubovsky
9
Привет, коллеги! Возникла задача ограничить максимальный размер вложений для определённых расширений, например, чтобы для изображений лимит был 10 МБ, а для видео — 100 МБ. Ог...
Andro
1
Всем привет, добавляю поля в админку через контроллер взависимости от id, поля отображаются, сохраняются в бд, но не редактируются в админке, кто-то сталкивался с таким?
Catherine Poll
4
Карта сайта