А ты доку не читаешь почему?

Question

Data Engineers

Dmitry Zuev

А ты доку не читаешь почему?

#hadoop #russian #software

0

27.01.2022

3 ответов

23 просмотра

Dmitry Zuev Автор вопроса

Nikita Sysoev
https://sparkbyexamples.com/spark/spark-submit-com...

https://spark.apache.org/docs/latest/configuration.html#dynamically-loading-spark-properties

0

27.01.2022

Nikita Sysoev

Dmitry Zuev
https://spark.apache.org/docs/latest/configuration...

"Properties set directly on the SparkConf take highest precedence, then flags passed to spark-submit or spark-shell, then options in the spark-defaults.conf file." - спасибо

0

27.01.2022

Nikita Sysoev · Accepted Answer

https://sparkbyexamples.com/spark/spark-submit-command/ Я обычно здесь гуглю инф-у. На мой вопрос здесь не нашел ответ. Офф документация - https://spark.apache.org/docs/latest/submitting-applications.html#loading-configuration-from-a-file "The spark-submit script can load default Spark configuration values from a properties file and pass them on to your application. By default, it will read options from conf/spark-defaults.conf in the Spark directory. For more detail, see the section on loading default configurations." - если это ответ на мой вопрос, то он как-то неочевиден для меня.

52 похожих чатов

А ты доку не читаешь почему?

3 ответов

Похожие вопросы