Всем здравствуйте. Сейчас настраиваю джобы, чтобы выполнять их в кластерном

режиме через YARN. До этого они работали через дефолтный спарк-кластер менеджер в клиентском моде. Джобы у меня используют зависимости delta.io. Раньше все было хорошо - запускаешь из с параметром —package и все работает. Теперь валятся с ошибкой в ярне module databricks is not found. Посмотрел видосы по спарку в ярне, понимаю, что надо изменить способ запуска, чтобы деплоились пакеты в ярне (ресурсменеджер, нодменеджер). Но как это сделать - не могу понять. Вчера пробовал ложить все зависимости (jar-файлы) в хдфс, при запуске джобы указывал —archives/—py-files/—jars - все 3 способа не работали. Может кто-то решал такую задачу? Спасибо

2 ответов

10 просмотров

я примерно на такой же проблеме и нахожусь, найдешь ответ, отпишись! 👍🏻

Torteek-Cake Автор вопроса

Похожие вопросы

Обсуждают сегодня

коллеги привет. уже второй день бьемся об заклад с одной ошибкой, может вы сталкивались с таки странным поведением? есть тестовый сервер, на который паблишим релизную версию W...
Magzhan
11
Слушайте, а при создании навигации на Tailor рили нельзя определять активный пункт навигации, как в Static Pages?
Pavel Lautsevich
11
Почему в коллекции nestedTree, при запросе $item->childrens идёт запрос к бд, а не коллекции?
Дмитрий
4
Господа, а как такое в миграцию засунуть?
Денис Александрович
12
Так а кто может спарсить всех участников чата? Идишники
Magic
18
кто тебе сказал, что она угроблена? многие только начинают жизнь, после увольнения из Гугла, Майкрософта, Оракла,...
Alex Kom
9
В альтернативе у нас сидеть горбатиться на дядю в галерах, пока не помрешь или пока тебя не заменят более молодым сотрудником, который готов гребсти в два раза дешевле. Вот и ...
Кабан Кабанов
7
да пофиг на капчу зашел в чат и молчишь при этом ты нонейм? пошел вон
Magic
17
Желаю получить совет от великих ботмейкеров которые успешно поднимали ботов на несколько тысяч одновременно активных юзеров Какая чушь нужна людям прямо сейчас, и что стоило ...
ռɛ ʋɛʀʍօʀɛ
6
Мне вот интересно jwt токен для подключения сторонего сайта к оду норм идея?
Andrij Moskivets
6
Карта сайта