просто при создании SparkSession и получении javaSparkContext, соответственно, указать master = yarn (а-ля SparkSession.builder().master("yarn").getOrCreate())
при запуске приложения получаю ошибку
org.apache.spark.SparkException: Could not parse Master URL: 'yarn'
переменная окружения HADOOP_CONF_DIR задана
что я делаю не так?
ну класс, spark-yarn_2.12 тянет одновременно hadoop-yarn-api:jar:2.7.7 и hadoop-yarn-client:jar:3.2.0 при этом hadoop-yarn-client дёргает методы которых нет в hadoop-yarn-api:jar:2.7.7
Обсуждают сегодня