Йарн зачем, если есть к8с со спарком?

Question

Data Engineers

Niyazi Garagashli

Йарн зачем, если есть к8с со спарком?

#hadoop #russian #software

0

16.11.2023

2 ответов

26 просмотров

Alex

Сиплый
Есть и хайв и спарк пока что. Часть вещей уже уеха...

В ярне На тех лимитах на которых работает в ярне, на кубике по оом вылетает у нас часть задач, где много экзекуторов Подняли лимиты вроде стало лучше Сейчас смотрим чтобы подрезать параметры по запросам на шафл данные и тд По умолчанию в спарке нету лимитов сколько запросов одновременно может на хост уйти, а так как отдельного шафл сервиса нету внутри nodemanager, то вся эта масса влетает на тот же екзекуторы который и данные процессит Защита от бесконечных ретраев/рестартов подов приехала только в 3.4 https://issues.apache.org/jira/browse/SPARK-41210 https://github.com/apache/spark/pull/40774 В пулреквесте чуть больше контекста, тикет без инфы Ну и так всякое по мелочи вылазит

0

16.11.2023

Сиплый · Accepted Answer

Сиплый

Есть и хайв и спарк пока что. Часть вещей уже уехала на спарк, но пока нет понимания, лучше ли со спарком в к8с или в йарне

0

16.11.2023

52 похожих чатов

Йарн зачем, если есть к8с со спарком?

2 ответов

Похожие вопросы