Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Если хадуп все, то на чем же спарк запускать?
8 ответов
k8s?
В облаке
В облаке
В котором хадуп запущен (emr привет)
В котором хадуп запущен (emr привет)
Ну там есть и на куберах
Всё бы хорошо, сейчас ребилжу имейджи на свежую джаву с поддержкой cgoups v2 У нас старая java которая в них не умеет, а кубик уже переехал В итоге наблюдаем эффект когда одна и та же джоба при одинаковых ресурсах выполняется в 3!!! Раза медленнее чем выполняется в хадупе :( если обновление не поможет будем дальше копать пытаться
Всё бы хорошо, сейчас ребилжу имейджи на свежую дж...
А спарк в докере на Ярне у вас есть?
А спарк в докере на Ярне у вас есть?
Уже нету, их перекинули уже на кубик, но там питон и нативные либы были
А спарк в докере на Ярне у вас есть?
Я просто уже перенес часть жоп из хайва на ярне а спарк в кубе. С инпутом типа 200ГБ И скоро встанет вопрос переноса жоп у которых инпут 1 - 2ТБ и аутпут примерно такого же размера Вот и думаю, насколько жизнеспособно это на спарке крутить
Похожие вопросы
Обсуждают сегодня