режиме через YARN. До этого они работали через дефолтный спарк-кластер менеджер в клиентском моде. Джобы у меня используют зависимости delta.io. Раньше все было хорошо - запускаешь из с параметром —package и все работает. Теперь валятся с ошибкой в ярне module databricks is not found. Посмотрел видосы по спарку в ярне, понимаю, что надо изменить способ запуска, чтобы деплоились пакеты в ярне (ресурсменеджер, нодменеджер). Но как это сделать - не могу понять. Вчера пробовал ложить все зависимости (jar-файлы) в хдфс, при запуске джобы указывал —archives/—py-files/—jars - все 3 способа не работали. Может кто-то решал такую задачу? Спасибо
я примерно на такой же проблеме и нахожусь, найдешь ответ, отпишись! 👍🏻
Договорились. Решение, да, в поиске
Обсуждают сегодня