172 похожих чатов

Парни, простите, что не совсем про кубер. но тут больше

вероятности найти людей с опытом

Парни и девушки, у кого был опыт интеграции приложений с Hive и Apache Spark в Kubernetes?
По архитектуре приложение авторизуется в Kerberos и получает данные из Hive и формирует задачу на обработку в спарке. Согласно инструкции по развертыванию в Kubernetes, разворачивается мастер и воркеры. Без менеджера ресурсов. Согласно описанию в документации, авторизая через Kerberos не возможна при развертывании в local, standalone, mesos. Тогда как реализовать обращение воркеров apache Spark к Hive с Kerberos?

7 ответов

24 просмотра

Я сейчас делаю такую же задачу. Дошел до образа спарк битнами а дальше свзязка ярн хдфс.

Vitaliy-Kryukov Автор вопроса
_
Я сейчас делаю такую же задачу. Дошел до образа сп...

блин)) а ты где работаешь?))) мы не одну задачу решаем?

Vitaliy-Kryukov Автор вопроса
_
Я сейчас делаю такую же задачу. Дошел до образа сп...

из описанного в интернетах я пришел к тому, что либо YARN Spark разворачивать вне кубера или нужно искать что-то еще, поэтому и задал вопрос

Vitaliy-Kryukov Автор вопроса
_
а Kubernetes Operator for Spark уже посмотрели?

не ставил, доку почитал, но не нашел - решит это проблему или нет

Vitaliy Kryukov
не ставил, доку почитал, но не нашел - решит это п...

должно решить, кубер начнет контролировать вместо ярна

Vitaliy-Kryukov Автор вопроса

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
И никого не интересует какие пакеты кто использует. ((% Заходишь на сайт симфони и видишь поддержку Украины - по законам РФ это ж экстремизм. Только никто не отказывается от с...
Am Ambrion
11
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
Чтобы перехватить все нажимания буков на форме, надо хук ставить? Пробовал на форме ОнКейДаун, оно ловит клаву если фокус не на компоненте с вводом текста
Serjone
15
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
7
Народ! Впервые клиенту пришло письмо от РКН, у вас, дескать, есть яндекс метрика, а нигде не написано, что вы ее юзаете. Никто не сталкивался?
Sasha Beep
14
Всем привет! вывожу на общей стр дочерние ресурсыв каждом ресурсе галерея, и первая фотка должна выводиться на общей [!DocLister? &prepare=photo !]
Alekso
12
Я правильно понимаю что нет способов получить список ожидающих заявок на вступление в группу с помощью бота из mtproto?
Шамиль Прилов
7
А можно вопрос? Мне сегодня сказали что у меня функция (которая просто заполняет массив значениями) не правильная void Full(double * arr, int n) { for (int i = 0; i < n; i...
† C E †
7
Добрый вечер. Хочу чтобы у меня в классе поле было функцией, которая возвращает строку. Делаю так: interface ... TGetOutPath = function : String of object; ... protec...
Kirill Filippenok
12
Карта сайта