Есть вопрос, как ограничить количество тасков на экзекутор ? Есть

30 экзекуторов, по 8 кор. Во всех запрсах это хорошо, но в одном месте есть 30 партиций и нужно чтобы каждая партиция/таска обрабатывалась своим экзекутром, сейчас на экзекутор наваливаеся множество тасок и ему не хватает памяти, хотя глобальных ресурсов валом. Spark.task.cpu  в 3 спарке нельзя поменять на лету, к сожалению ...

11 ответов

13 просмотров

Разве что поиграться с колонкой репартицирования, поджойнив на специальную табличку со значениями, хэш которых строго равен конкретным числам

Дмитрий- Автор вопроса
Евгений Глотов
Разве что поиграться с колонкой репартицирования, ...

Написан репартишен. Но таски то по партициям, а распределчется по корам

Дмитрий
Написан репартишен. Но таски то по партициям, а ра...

Репартишен надо написать так, чтоб хэш от ключа партицирования был ровно 0, 8, 16, 24 и т д

Дмитрий
А смысл ?

Чтоб данные попали в соответствующие таск айди

Дмитрий
Ну они так попадают

Нет, они попадают не так, как тебе надо

1. Тебе точно нужно 3 там? 2. Я б вместо черной магии всякой памятью бы закидал. Сколько всего памяти сейчас на этой жобе? 30гб? 300? С 30 до 90 сделать ок. Если приходится крутить до 1ТБ уже имеет смысл магия, да

Дмитрий- Автор вопроса

Ну вообще ты можешь свой партишонер написать или выглядит так, что тебе просто сделать репартишон 60 чтобы влезло в память

Похожие вопросы

Обсуждают сегодня

Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
А сколько часов мак держит зарядку в рабочем режиме? Например мой Redmi Mac (просто наклейка от айфона осталась, налепил) по началу держал часов 5 с парой открытых штормов и ...
Ross
8
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
Ребят, а вот такой вопрос: если я владелец бота анонимного чата, в котором, например, имеются подписки, используя какую-нибудь ЮКассу (или тому подобное, в общем с налогами, в...
Eugene Неелов
8
а давно такие жирные буквы в админке?
Миша
4
Гнева и тупости пост. Как блять можно работать с маркетологами? Их в детстве всех родители случайно цепляли об дверные откосы? Поступила таска, на сайте "лишний счетчик Google...
Igor
4
а у тг (бот) апи вообще есть статусная страница, кстати?
e\\/gen
5
Вообще сейчас эти все провайдеры облаков оборзели. Если тебе нужно 4 ядра и 4 гб., хер где такую конфигурацию найдешь. Суют тебе сразу либо 8гб. либоа сразу 16 гб., они мне на...
Igor
4
Всем привет. А никто не в курсе у бота может быть заблокированна возможность принимать звезды? На одном боте вызываю sendInvoice с нужными параметрами все ок, на втором дела...
John Doe
2
Карта сайта