Привет. Такой кейс - присутствуют большие задержки (или вообще не

появляется) между спарк сабмитом и появлением приложения в ярн ui.
Куда стоит смотреть, копать ?

В ui переключились на вкладку Applications? В Accepted Стейт по идее должен сразу попадать, если до ресурс менеджера стучится без проблем

Так сначала же new, а потом accepted.

Да точно хотя я нии разу не ловил такое состояние в ui кстати) В любом случае если приложение не появляется нигде в ui, я бы посмотрел логи спарк-сабмита. Если что-то пошло не так, там должны быть видны детали

Ок, спасибо. Гляну в эту сторону.

New - запросили app_id у ресурс менеджера Submitted - закончили загрузку всех ресурсов и можно скедулить Accepted - попали в нужную очередь ярна, может достаточно долго тут если в очереди ресурсов нету Running - принят к выполнению, нодеменджеры начинают локализацию ресурсов и подготовку к запуску, потом сам запуск. Для разных продуктов разное время пока в running появится и станет доступен AppMaster ui (для спарка это driver ui) Всё 4 этапа можно смотреть в yarn морде, но на разных вкладках, обычно все смотрят лишь running

Отвратительно, что failed есть в табе failed и в табе finished

Вроде бы логично, но согласен, что лучше все стейты чётко разделить в юи. Хотя по картинке выше - фейлд не может быть финишд.

Фолдер для логов драйвера, если не указан в проперти спарка - какой по дефолту ?