используя спарк примаунченный с хоста
                  
                  
                  у меня получилось запустить контейнер с опцией --net=host, а вот как использовать изолированную сеть контейнара и при этом запускать спарк в кластере хз
                  
                  
                  пробовал контейнер запускать с прокинутым портом с хоста, на котором запускаю,  но тоже безрезультатно -_-
                  
                  
                  может быть кто-то решал уже такую проблему?
                  
                  
                
Хотелось бы уточнить, для чего нужно подобное? Правильно ли я понимаю у вас есть хадуп кластер с ярном, и вы хотите запустить спарк сабмит из контейнера на этом кластере ?
У меня был случай, когда код запускался в ярн контейнере в третьем хадупе, и из этого контейнера делался спарк-сабмит во второй хадуп в другом кластере, где производились вычисления
Обсуждают сегодня