Есть вопрос, как ограничить количество тасков на экзекутор ? Есть

30 экзекуторов, по 8 кор. Во всех запрсах это хорошо, но в одном месте есть 30 партиций и нужно чтобы каждая партиция/таска обрабатывалась своим экзекутром, сейчас на экзекутор наваливаеся множество тасок и ему не хватает памяти, хотя глобальных ресурсов валом. Spark.task.cpu  в 3 спарке нельзя поменять на лету, к сожалению ...

11 ответов

9 просмотров

Разве что поиграться с колонкой репартицирования, поджойнив на специальную табличку со значениями, хэш которых строго равен конкретным числам

Дмитрий- Автор вопроса
Евгений Глотов
Разве что поиграться с колонкой репартицирования, ...

Написан репартишен. Но таски то по партициям, а распределчется по корам

Дмитрий
Написан репартишен. Но таски то по партициям, а ра...

Репартишен надо написать так, чтоб хэш от ключа партицирования был ровно 0, 8, 16, 24 и т д

Дмитрий
А смысл ?

Чтоб данные попали в соответствующие таск айди

Дмитрий
Ну они так попадают

Нет, они попадают не так, как тебе надо

1. Тебе точно нужно 3 там? 2. Я б вместо черной магии всякой памятью бы закидал. Сколько всего памяти сейчас на этой жобе? 30гб? 300? С 30 до 90 сделать ок. Если приходится крутить до 1ТБ уже имеет смысл магия, да

Дмитрий- Автор вопроса

Ну вообще ты можешь свой партишонер написать или выглядит так, что тебе просто сделать репартишон 60 чтобы влезло в память

Похожие вопросы

Обсуждают сегодня

Короче я тут узнал полный пиздец Что кучу постов которые я создавал через posted Спустя время не могу редактировать и менять Мол телега возвращае ошибку Это реально так ...
inc.
13
Привет, сталкивался кто с такой ситуацией? У меня есть модальное окно Bootstrap, в нем кнопка закрытия: <button type="button" class="btn-close" data-bs-dismiss="modal" aria-...
Виталий
3
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Какой число последнее будет, если сказали от 1 до 10 взять все?
Misha Mikhail
5
А у тебя есть информация сколько сейчас использует твой бот?
Artem Stormageddon
4
Окрошка! На квасе или кефире или на пиве?!
Akcium Сергей
4
Забавно, но для тебя "этот" = "следующий" т.е этот год для тебя какой?
Magic
3
Создан плагин через artisan, миграций не будет, как его активировать в админке?
Point 111
2
Кто-то юзал insomnia? Удобная штука ужас
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
3
Карта сайта