вероятности найти людей с опытом
Парни и девушки, у кого был опыт интеграции приложений с Hive и Apache Spark в Kubernetes?
По архитектуре приложение авторизуется в Kerberos и получает данные из Hive и формирует задачу на обработку в спарке. Согласно инструкции по развертыванию в Kubernetes, разворачивается мастер и воркеры. Без менеджера ресурсов. Согласно описанию в документации, авторизая через Kerberos не возможна при развертывании в local, standalone, mesos. Тогда как реализовать обращение воркеров apache Spark к Hive с Kerberos?
Я сейчас делаю такую же задачу. Дошел до образа спарк битнами а дальше свзязка ярн хдфс.
блин)) а ты где работаешь?))) мы не одну задачу решаем?
из описанного в интернетах я пришел к тому, что либо YARN Spark разворачивать вне кубера или нужно искать что-то еще, поэтому и задал вопрос
а Kubernetes Operator for Spark уже посмотрели?
не ставил, доку почитал, но не нашел - решит это проблему или нет
должно решить, кубер начнет контролировать вместо ярна
видимо я недопонял. Спасибо
Обсуждают сегодня