А кто в случае spark-on-yarn формирует порядок для java -cp

Question

Data Engineers

Nikita B

А кто в случае spark-on-yarn формирует порядок для java -cp

? spark-submit ?

#hadoop #russian #software

0

16.06.2023

1 ответов

10 просмотров

Alex · Accepted Answer

Да Спарк сабмит вызывает скала класс Тот формирует весь список параметров Подключается к yarn и hdfs Получает у ярна application id Загрузил по дефлту в /user/{name}/.spark/application_{id} Всё нужные файлы Сформировал команду для ярна (какой порядок jar в класпасе, нужно ли туда вставлять hadoop yarn jars и тд и тп) Отдал команду выполнить это все ярну Ну и дальше уже работа хадупа по локализации на машинки и тд

52 похожих чатов

А кто в случае spark-on-yarn формирует порядок для java -cp

1 ответов

Похожие вопросы