Через Jupyter enterprise gateway. В целом у людей непонимание в том, что такое «оператор» и чем они отличаются. По факту это тот же спарк , просто в котором есть декларативное описание инфраструктуры и управление ей. Собственно сам паттерн оператор не меняет приложения
Оператору можно просунуть спарк-сабмит команду, написанную руками?
Имеешь виду не делать .py файл а просто текстом бередить исходники? (Ну или маленькую команду чтобы потестить как я понял)
Имею ввиду - в ямл просунуть свой cmd. Какой-нибудь "есho 123 && bin/spark-submit ... "
В сайдкар можно пропихнуть кастомизацию без проблем тончо
Обсуждают сегодня