Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
А как Спарк понимает как делить данные между нодами?
4 ответов
27 просмотров
В вашем случае если вы jdbc коннектором пользуетесь, там можно настроить количество сплитов, чтобы параллельно вычитывало. Но даже если вы одним воркером все делаете, по памяти упасть не должно (если вы условно дамп в паркет делаете) - там все будет на итераторах с буфферизацией и все 32 гигабайта вам не нужно никогда в памяти метериализовывать
Niyazi
Garagashli
Автор вопроса
Artem
В вашем случае если вы jdbc коннектором пользуетес...
В вашем случае если вы jdbc коннектором пользуетес...
я думал при записи происходит полная материализация
Mikhail Kuznetsov
я думал при записи происходит полная материализаци...
я думал при записи происходит полная материализаци...
В памяти? А зачем? Записали одну row group, сбросили буффер и дальше поехали
Похожие вопросы
Обсуждают сегодня
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной:
int x;
Task.Run(async () =>
{
x = await somefunc();
}).Wait...
Александр
Добрый вечер,
Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял:
- Нужен некий баланс, который можно поп...
Magic
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
Привет!)
Кто как юзает переменные в строках?)
Чисто ради интереса
Вот так:
echo "У меня {$bananasAmount} бананов";
Или вот так:
echo "У меня ${bananasAmount} бананов";
Виталий
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
разработчик ботов скидывает портфолио, боты которые он уже создал. А вот как узнать что это именно он их создал?
Gosudar
Но, может, есть уже проверенная? Наши требования такие:
1. Сообщения должны приходить из Инста в CRM оду
2. Должна быть возможность подключить несколько экаунтов Инстаграм.
Р...
Alexander Sharoiko MSE / Александр Шаройко
Это может быть все-таки не флудвейт?
у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK