Дмитрий

Есть вопрос, как ограничить количество тасков на экзекутор ? Есть 30 экзекуторов, по 8 кор. Во всех запрсах это хорошо, но в одном месте есть 30 партиций и нужно чтобы каждая ...

Подскажите, мне для экспериментов нужна новая версия spark. Локальный не интересен, сейас все делаю в доккере, создан кластер hadoop, с yarn hdfs и все нужно инфрой, все это ж...

Для тестов личных сойдет ?

Ктонибудь пользуется spark на java 20 ? Может где в облаках есть за недорого, для тестов?

А ктонибудь кубер в яндекс клауд пробовал ?

Пятничный вопрос, после рабочей недели. Насколько в de нужно fp, с ее tf, cats and zio ? Или забить и программировать на spark ?

Может маппинг настроить для ремотного хоста ?

Зачем мне знать как распределяются значения типа инт до 255 в памяти питона ?

Да с джунами грусть печаль, приходится потом разгребать и в процессе мидлы выгорают, зачем такой бизнес ?

Коллеги, вопрос. Есть необходимость с помощью sparc заливать данные в ch, сейчас использую jdbc, движек таблиц mergtree, возникают разные интересные артефакты при загрузке. ...

Привет всем! Если возможность при массовой в вставке в таблицу mergetree отложить процесс мержа, так как я ощищаю таблицу перед вставкой ?

Я немного вдалеке от компа, буду за компом черещ 3 дня, и интернет у меня не быстрый. Какой версии у тебя спарк ?

Подскажите, может кто встречал готовый парсер для postgresql синтаксиса crontab ?

Сертификация от датабрикс котируется ?

Еще впрос, мне нужно переклюсить все партиции в целевую таблицу, можно это сделать одной командой типа * и все ?

А зачем хайв ?