при этом используя pyspark, который установлен на ноде
То есть в контейнере просто лежит питоновский файл, в котором используется пайспарк, но запускает создаёт сессию не локально в контейнере, а в кластере
Кто нибудь делал такое?
т.е. создаешь сессию spark, например через yarn, и пытаешься выполнить что-либо?
Обсуждают сегодня