Имеется ввиду примерно эта конструкция для чтения: spark.read.format("jdbc").option("driver", "net.ucanaccess.jdbc.UcanaccessDriver").option("url", "jdbc"ucanaccess://...").option("dbtable", "(select

Question

Имеется ввиду примерно эта конструкция для чтения: spark.read.format("jdbc").option("driver", "net.ucanaccess.jdbc.UcanaccessDriver").option("url", "jdbc"ucanaccess://...").option("dbtable", "(select

* from schema.table)").load()
Запуск производится посредством spark3-submit.

При запуске с использованием настройки --master yarn файлы, которые подгружаются через addFile, не видны для дальнейшего использования. Выкидывается ошибка FileNotFoundException, который ссылается на темповую область спарковского приложения. В свою очередь, при запуске с использованием --master local этот трюк проходит и такая ошибка не возникает.

В связи с этим и возникает вопрос - из-за чего может быть такая ошибка? Есть ли альтернативные пути, по которым можно считать файл бд с hdfs, или же есть только путь через расшаривание файла на все ноды используя addFile?

#hadoop #russian #software

0

06.05.2022

1 ответов

16 просмотров

Сиплый · Accepted Answer

Сиплый

надо ему default файловую систему указать hdfs. либо, если заработает, указать ucanaccess://hdfs:// 🤷‍♂ скорее всего не взлетит, тогда 1 вариант

0

06.05.2022

52 похожих чатов

Имеется ввиду примерно эта конструкция для чтения: spark.read.format("jdbc").option("driver", "net.ucanaccess.jdbc.UcanaccessDriver").option("url", "jdbc"ucanaccess://...").option("dbtable", "(select

1 ответов

Похожие вопросы