172 похожих чатов

Парни, простите, что не совсем про кубер. но тут больше

вероятности найти людей с опытом

Парни и девушки, у кого был опыт интеграции приложений с Hive и Apache Spark в Kubernetes?
По архитектуре приложение авторизуется в Kerberos и получает данные из Hive и формирует задачу на обработку в спарке. Согласно инструкции по развертыванию в Kubernetes, разворачивается мастер и воркеры. Без менеджера ресурсов. Согласно описанию в документации, авторизая через Kerberos не возможна при развертывании в local, standalone, mesos. Тогда как реализовать обращение воркеров apache Spark к Hive с Kerberos?

7 ответов

14 просмотров

Я сейчас делаю такую же задачу. Дошел до образа спарк битнами а дальше свзязка ярн хдфс.

Vitaliy-Kryukov Автор вопроса
_
Я сейчас делаю такую же задачу. Дошел до образа сп...

блин)) а ты где работаешь?))) мы не одну задачу решаем?

Vitaliy-Kryukov Автор вопроса
_
Я сейчас делаю такую же задачу. Дошел до образа сп...

из описанного в интернетах я пришел к тому, что либо YARN Spark разворачивать вне кубера или нужно искать что-то еще, поэтому и задал вопрос

Vitaliy-Kryukov Автор вопроса
_
а Kubernetes Operator for Spark уже посмотрели?

не ставил, доку почитал, но не нашел - решит это проблему или нет

Vitaliy Kryukov
не ставил, доку почитал, но не нашел - решит это п...

должно решить, кубер начнет контролировать вместо ярна

Vitaliy-Kryukov Автор вопроса

Похожие вопросы

Обсуждают сегодня

коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Hi Everyone! To all Are you Looking for Interview Support at the Lowest Price? Look no further! Then contact us We offer Interview Support for a low cost variety of technol...
Rambabu Nallamilli
3
верно что я могу удалить эти addq и subq т.к. со стеком никакого взаимодействия нет (исключая call)?
Michael
16
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
28
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
средствами IBX как-то можно выполнить запрос insert ... returning?
Igor
31
А что ты вообще делаешь ?
Yesgoter
13
Hi there everyone Is there anyone who have not started hamster bot yet? I need only one, I'll be glad if you do this for me DM if you haven't yet
Mehrshad
53
На работе пишем распределенное приложение, у которого сотни, если не тысячи настроек. Конфиги написаны на xml, расположены на разных хостах и должны быть согласованы друг с др...
Aleksandr Druzhinin
5
Всем привет 🙂 Какая-то непонятная проблема у меня с видео, раньше такого не было. Загружаю видео с гугл диска именно в видео mp4 и меняю ссылку как положено вот она: https://d...
Ксюша|Верстка на Тильде|Дизайн 🦥
6
Карта сайта