Привет всем! пробую запустить спарк в докер контейнере на тачке, прокинув

спарк с сервера
в локальном режиме работает и доступ к hdfs есть, но есть выполнять при --master yarn то спарк пытается запуститься на хосте контейнера
и получаю такую стектрейс
22/04/01 12:05:17 ERROR YarnClientSchedulerBackend: YARN application has exited unexpectedly with state FAILED! Check the YARN application logs for more details.
22/04/01 12:05:17 ERROR YarnClientSchedulerBackend: Diagnostics message: Uncaught exception: org.apache.spark.SparkException: Exception thrown in awaitResult:
...
Caused by: java.io.IOException: Failed to connect to df544bea64b3:44413
...
Caused by: java.net.UnknownHostException: df544bea64b3

df544bea64b3 - имя контейнера

может я где то не настроил конфиги? может кто сталкивался с таким?

запускаю так $SPARK_HOME/bin/spark-submit --master yarn

docker run --net=host Либо в spark.driver.host и spark.driver.port указывать адрес ноды и порта, где запускаешь контейнер, и пробрасывать этот порт.