172 похожих чатов

Всем привет. Еще и тут спрошу. А кто нить знает есть

ли для кубера provisioner для minio?
Если коротко то идея в том что есть jupyter, и хотелось бы чтобы локальная home папка юпитера внутри пода смотрела на бакет minio.

21 ответов

29 просмотров

s3 fuse жутко тормозной. Его для этих целей лучше не юзать

А ты смотрел как это в кубефлоу решено?

Jupiter hub?

tg-usr Автор вопроса
Jürgen Romins
Jupiter hub?

На него смотрели, но для одного аналитика вроде как оверхед, пока достаточно обычного юпитера. Но может и пришло время в эту сторону посмотреть снова. Спасибо.

tg-usr Автор вопроса
George Gaál
А ты смотрел как это в кубефлоу решено?

Неа, если честно то и не был в курсе про этот проект. Всегда юзали юпитер и было достаточно. Спасибо, гляну.

tg usr
На него смотрели, но для одного аналитика вроде ка...

еще можно датаайку посмотреть это целая платформа, ну и у минио вполне нормальный оператор

tg usr
Неа, если честно то и не был в курсе про этот прое...

ели хаб оверхед то кубфло и датайку вдойне

tg-usr Автор вопроса
Jürgen Romins
еще можно датаайку посмотреть это целая платформа,...

Сам минио развернут, с ним проблем нет. Просто мне казалось что где то я встречал упоминание о provisioner для minio/s3. Я себе решил что будет работать как обычный provisioner, мол pvc просишь, он тебе выделяет и ты его как volume внутрь пода в home папку юпитера пробрасываешь.

tg usr
Сам минио развернут, с ним проблем нет. Просто мне...

джупитер не приспособлен для кубера, для кубера надо смотреть хаб

tg-usr Автор вопроса
Jürgen Romins
джупитер не приспособлен для кубера, для кубера на...

Ну глобально я понимаю, просто до этого момента он себе крутился подом тихонько и кушать не просил. Таски в спарк кидал и норм. Но похоже пора смотреть что то более серьезное.

tg-usr Автор вопроса
Dmitry Sergeev 🇺🇦
local-volume-provisioner заюзай

Может под вечер туплю, но идею не понял, а как local поможет забрасывать данные на minio?

tg usr
Ну глобально я понимаю, просто до этого момента он...

если еще пайспарк то тогда уже пора смотреть в сторону пайплайнов

tg usr
Может под вечер туплю, но идею не понял, а как loc...

а не надо на minio. Тебе же волум нужен как я понял?

tg-usr Автор вопроса
Dmitry Sergeev 🇺🇦
а не надо на minio. Тебе же волум нужен как я поня...

Не, я там в основном вопросе писал, как раз на локал вольюм не проблема. Была странная идея использовать что-то чтобы minio пробросить внутрь юпитера как его home folder 😊

tg usr
Не, я там в основном вопросе писал, как раз на лок...

нееее слушай так не надо вообще в кубфло это работает через жопу юзай обычные пв и минио как обжект

tg-usr Автор вопроса
Jürgen Romins
нееее слушай так не надо вообще в кубфло это работ...

Ну сейчас +- так и есть, внутрь юпитера условно hostPath PV монтируется как хоум фолдер юпитера где скрипты лежат, а minio как object для данных и спарка.

tg usr
Ну сейчас +- так и есть, внутрь юпитера условно ho...

мы для датасатанист платформы юзали блобы как волюмы но это фигня жесткая), в итоге живем на люстре+блобы как датасет соурс указаны

tg-usr Автор вопроса
Jürgen Romins
мы для датасатанист платформы юзали блобы как волю...

Люстре? Кстати JB выпустили ideшку для датасатанистов dataspell, но я попробовал, со спарком она пока как то не очень (если спарк с кубер контроллером) Хотя аналитик говорит мощная и удобная в общем штука, буду следить как допилят.

tg usr
Люстре? Кстати JB выпустили ideшку для датасатани...

https://www.lustre.org/ была создана для hpc на ее основе амазон запилил fsx Как иде у нас как раз джупитеры но у нас используется не опенсорс продукт, плюс еще че пробовали вещь вполне норм, ну и pycharm с плагином работает для нашей реализации

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта