172 похожих чатов

Парни, простите, что не совсем про кубер. но тут больше

вероятности найти людей с опытом

Парни и девушки, у кого был опыт интеграции приложений с Hive и Apache Spark в Kubernetes?
По архитектуре приложение авторизуется в Kerberos и получает данные из Hive и формирует задачу на обработку в спарке. Согласно инструкции по развертыванию в Kubernetes, разворачивается мастер и воркеры. Без менеджера ресурсов. Согласно описанию в документации, авторизая через Kerberos не возможна при развертывании в local, standalone, mesos. Тогда как реализовать обращение воркеров apache Spark к Hive с Kerberos?

7 ответов

16 просмотров

Я сейчас делаю такую же задачу. Дошел до образа спарк битнами а дальше свзязка ярн хдфс.

Vitaliy-Kryukov Автор вопроса
_
Я сейчас делаю такую же задачу. Дошел до образа сп...

блин)) а ты где работаешь?))) мы не одну задачу решаем?

Vitaliy-Kryukov Автор вопроса
_
Я сейчас делаю такую же задачу. Дошел до образа сп...

из описанного в интернетах я пришел к тому, что либо YARN Spark разворачивать вне кубера или нужно искать что-то еще, поэтому и задал вопрос

Vitaliy-Kryukov Автор вопроса
_
а Kubernetes Operator for Spark уже посмотрели?

не ставил, доку почитал, но не нашел - решит это проблему или нет

Vitaliy Kryukov
не ставил, доку почитал, но не нашел - решит это п...

должно решить, кубер начнет контролировать вместо ярна

Vitaliy-Kryukov Автор вопроса

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
32
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
1
Подскажите пожалуйста, а я могу вот такую штуку использовать? rpc, только реализованное в реббите https://www.rabbitmq.com/tutorials/tutorial-six-php ( или https://habr.com/ru...
Artyom
11
а мы ещё не созрели до того, чтобы создать отдельный чатик про настройку редакторов?
Cheese Syrowiecki
16
И ещё вопрос: можно ли типа как на дос как-то запариться и с помощью прерываний выводить текст, вместо функции printf ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
34
Всем привет! У меня почему-то по-разному отображается TListView в Debug и Release режимах (FireMonkey)! При запуске под Win приложения TListView заливается программо. в Debug ...
Александр COM
8
Ладно, ещё тупого спрошу. Код должен банально вывести значение регистра на консоль, на деле же не выводя ничего, просто оставляя нерабочую консоль (открыта, ничего не написан...
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
25
Карта сайта