вызове команды:
spark-submit --keytab "path_to_keytab"
этот кейтаб копируется на локальную машину при запуске спарк-приложения.
Итак, я хочу использовать внутри своего спарк-приложения путь до этого скопированного кейтаба.
Как можно получить путь до этого кейтаба внутри своего приложения?
Передать парметром командной строки
Ну да Я уже передаю его параметром для команды spark-submit. Потом успешно запускается моё spark приложение. И между тем, этот кейтаб копируется куда то в контейнер приложения. И внутри своего спарк-приложения в коде я хочу работать с этой копией кейтаб файла.
он в рабочей директории лежать будет. Прям в .
в логах посмотрел параметры запущенной спарк-сессии Заметил такой параметр: (spark.kerberos.keytab, my_service.keytab-618a8c91-a1e2-4650-9869-131fd92aa219) Кажется кейтаб копируется с рандомным постфиксом.
Спасибо, выручили. Действительно в корень копируется. Единственное постфикс рандомный в имя добавляется. Поэтому дёргать через: spark.sparkContext.getConf.get("spark.kerberos.keytab")
Обсуждают сегодня