172 похожих чатов

Всем привет. Еще и тут спрошу. А кто нить знает есть

ли для кубера provisioner для minio?
Если коротко то идея в том что есть jupyter, и хотелось бы чтобы локальная home папка юпитера внутри пода смотрела на бакет minio.

21 ответов

25 просмотров

s3 fuse жутко тормозной. Его для этих целей лучше не юзать

А ты смотрел как это в кубефлоу решено?

Jupiter hub?

tg-usr Автор вопроса
Jürgen Romins
Jupiter hub?

На него смотрели, но для одного аналитика вроде как оверхед, пока достаточно обычного юпитера. Но может и пришло время в эту сторону посмотреть снова. Спасибо.

tg-usr Автор вопроса
George Gaál
А ты смотрел как это в кубефлоу решено?

Неа, если честно то и не был в курсе про этот проект. Всегда юзали юпитер и было достаточно. Спасибо, гляну.

tg usr
На него смотрели, но для одного аналитика вроде ка...

еще можно датаайку посмотреть это целая платформа, ну и у минио вполне нормальный оператор

tg usr
Неа, если честно то и не был в курсе про этот прое...

ели хаб оверхед то кубфло и датайку вдойне

tg-usr Автор вопроса
Jürgen Romins
еще можно датаайку посмотреть это целая платформа,...

Сам минио развернут, с ним проблем нет. Просто мне казалось что где то я встречал упоминание о provisioner для minio/s3. Я себе решил что будет работать как обычный provisioner, мол pvc просишь, он тебе выделяет и ты его как volume внутрь пода в home папку юпитера пробрасываешь.

tg usr
Сам минио развернут, с ним проблем нет. Просто мне...

джупитер не приспособлен для кубера, для кубера надо смотреть хаб

tg-usr Автор вопроса
Jürgen Romins
джупитер не приспособлен для кубера, для кубера на...

Ну глобально я понимаю, просто до этого момента он себе крутился подом тихонько и кушать не просил. Таски в спарк кидал и норм. Но похоже пора смотреть что то более серьезное.

tg-usr Автор вопроса
Dmitry Sergeev 🇺🇦
local-volume-provisioner заюзай

Может под вечер туплю, но идею не понял, а как local поможет забрасывать данные на minio?

tg usr
Ну глобально я понимаю, просто до этого момента он...

если еще пайспарк то тогда уже пора смотреть в сторону пайплайнов

tg usr
Может под вечер туплю, но идею не понял, а как loc...

а не надо на minio. Тебе же волум нужен как я понял?

tg-usr Автор вопроса
Dmitry Sergeev 🇺🇦
а не надо на minio. Тебе же волум нужен как я поня...

Не, я там в основном вопросе писал, как раз на локал вольюм не проблема. Была странная идея использовать что-то чтобы minio пробросить внутрь юпитера как его home folder 😊

tg usr
Не, я там в основном вопросе писал, как раз на лок...

нееее слушай так не надо вообще в кубфло это работает через жопу юзай обычные пв и минио как обжект

tg-usr Автор вопроса
Jürgen Romins
нееее слушай так не надо вообще в кубфло это работ...

Ну сейчас +- так и есть, внутрь юпитера условно hostPath PV монтируется как хоум фолдер юпитера где скрипты лежат, а minio как object для данных и спарка.

tg usr
Ну сейчас +- так и есть, внутрь юпитера условно ho...

мы для датасатанист платформы юзали блобы как волюмы но это фигня жесткая), в итоге живем на люстре+блобы как датасет соурс указаны

tg-usr Автор вопроса
Jürgen Romins
мы для датасатанист платформы юзали блобы как волю...

Люстре? Кстати JB выпустили ideшку для датасатанистов dataspell, но я попробовал, со спарком она пока как то не очень (если спарк с кубер контроллером) Хотя аналитик говорит мощная и удобная в общем штука, буду следить как допилят.

tg usr
Люстре? Кстати JB выпустили ideшку для датасатани...

https://www.lustre.org/ была создана для hpc на ее основе амазон запилил fsx Как иде у нас как раз джупитеры но у нас используется не опенсорс продукт, плюс еще че пробовали вещь вполне норм, ну и pycharm с плагином работает для нашей реализации

Похожие вопросы

Обсуждают сегодня

а через ESC-код ?
Alexey Kulakov
29
30500 за редактор? )
Владимир
47
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
Ребят в СИ можно реализовать ООП?
Николай
33
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта