Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Есть вопрос, как ограничить количество тасков на экзекутор ? Есть
30 экзекуторов, по 8 кор. Во всех запрсах это хорошо, но в одном месте есть 30 партиций и нужно чтобы каждая партиция/таска обрабатывалась своим экзекутром, сейчас на экзекутор наваливаеся множество тасок и ему не хватает памяти, хотя глобальных ресурсов валом. Spark.task.cpu в 3 спарке нельзя поменять на лету, к сожалению ...
11 ответов
Разве что поиграться с колонкой репартицирования, поджойнив на специальную табличку со значениями, хэш которых строго равен конкретным числам
Дмитрий
Автор вопроса
Разве что поиграться с колонкой репартицирования, ...
Написан репартишен. Но таски то по партициям, а распределчется по корам
Написан репартишен. Но таски то по партициям, а ра...
Репартишен надо написать так, чтоб хэш от ключа партицирования был ровно 0, 8, 16, 24 и т д
Дмитрий
Автор вопроса
А смысл ?
Чтоб данные попали в соответствующие таск айди
Дмитрий
Автор вопроса
Чтоб данные попали в соответствующие таск айди
Ну они так попадают
Ну они так попадают
Нет, они попадают не так, как тебе надо
Дмитрий
Автор вопроса
1. Тебе точно нужно 3 там? 2. Я б вместо черной магии всякой памятью бы закидал. Сколько всего памяти сейчас на этой жобе? 30гб? 300? С 30 до 90 сделать ок. Если приходится крутить до 1ТБ уже имеет смысл магия, да
Дмитрий
Автор вопроса
1. Тебе точно нужно 3 там? 2. Я б вместо черной ма...
Других вариантов нет.
Ну вообще ты можешь свой партишонер написать или выглядит так, что тебе просто сделать репартишон 60 чтобы влезло в память
Похожие вопросы
Обсуждают сегодня