используя спарк примаунченный с хоста
у меня получилось запустить контейнер с опцией --net=host, а вот как использовать изолированную сеть контейнара и при этом запускать спарк в кластере хз
пробовал контейнер запускать с прокинутым портом с хоста, на котором запускаю, но тоже безрезультатно -_-
может быть кто-то решал уже такую проблему?
Хотелось бы уточнить, для чего нужно подобное? Правильно ли я понимаю у вас есть хадуп кластер с ярном, и вы хотите запустить спарк сабмит из контейнера на этом кластере ?
У меня был случай, когда код запускался в ярн контейнере в третьем хадупе, и из этого контейнера делался спарк-сабмит во второй хадуп в другом кластере, где производились вычисления
Обсуждают сегодня