172 похожих чатов

Всем привет. Еще и тут спрошу. А кто нить знает есть

ли для кубера provisioner для minio?
Если коротко то идея в том что есть jupyter, и хотелось бы чтобы локальная home папка юпитера внутри пода смотрела на бакет minio.

21 ответов

13 просмотров

s3 fuse жутко тормозной. Его для этих целей лучше не юзать

А ты смотрел как это в кубефлоу решено?

Jupiter hub?

tg-usr Автор вопроса
Jürgen Romins
Jupiter hub?

На него смотрели, но для одного аналитика вроде как оверхед, пока достаточно обычного юпитера. Но может и пришло время в эту сторону посмотреть снова. Спасибо.

tg-usr Автор вопроса
George Gaál
А ты смотрел как это в кубефлоу решено?

Неа, если честно то и не был в курсе про этот проект. Всегда юзали юпитер и было достаточно. Спасибо, гляну.

tg usr
На него смотрели, но для одного аналитика вроде ка...

еще можно датаайку посмотреть это целая платформа, ну и у минио вполне нормальный оператор

tg usr
Неа, если честно то и не был в курсе про этот прое...

ели хаб оверхед то кубфло и датайку вдойне

tg-usr Автор вопроса
Jürgen Romins
еще можно датаайку посмотреть это целая платформа,...

Сам минио развернут, с ним проблем нет. Просто мне казалось что где то я встречал упоминание о provisioner для minio/s3. Я себе решил что будет работать как обычный provisioner, мол pvc просишь, он тебе выделяет и ты его как volume внутрь пода в home папку юпитера пробрасываешь.

tg usr
Сам минио развернут, с ним проблем нет. Просто мне...

джупитер не приспособлен для кубера, для кубера надо смотреть хаб

tg-usr Автор вопроса
Jürgen Romins
джупитер не приспособлен для кубера, для кубера на...

Ну глобально я понимаю, просто до этого момента он себе крутился подом тихонько и кушать не просил. Таски в спарк кидал и норм. Но похоже пора смотреть что то более серьезное.

tg-usr Автор вопроса
Dmitry Sergeev 🇺🇦
local-volume-provisioner заюзай

Может под вечер туплю, но идею не понял, а как local поможет забрасывать данные на minio?

tg usr
Ну глобально я понимаю, просто до этого момента он...

если еще пайспарк то тогда уже пора смотреть в сторону пайплайнов

tg usr
Может под вечер туплю, но идею не понял, а как loc...

а не надо на minio. Тебе же волум нужен как я понял?

tg-usr Автор вопроса
Dmitry Sergeev 🇺🇦
а не надо на minio. Тебе же волум нужен как я поня...

Не, я там в основном вопросе писал, как раз на локал вольюм не проблема. Была странная идея использовать что-то чтобы minio пробросить внутрь юпитера как его home folder 😊

tg usr
Не, я там в основном вопросе писал, как раз на лок...

нееее слушай так не надо вообще в кубфло это работает через жопу юзай обычные пв и минио как обжект

tg-usr Автор вопроса
Jürgen Romins
нееее слушай так не надо вообще в кубфло это работ...

Ну сейчас +- так и есть, внутрь юпитера условно hostPath PV монтируется как хоум фолдер юпитера где скрипты лежат, а minio как object для данных и спарка.

tg usr
Ну сейчас +- так и есть, внутрь юпитера условно ho...

мы для датасатанист платформы юзали блобы как волюмы но это фигня жесткая), в итоге живем на люстре+блобы как датасет соурс указаны

tg-usr Автор вопроса
Jürgen Romins
мы для датасатанист платформы юзали блобы как волю...

Люстре? Кстати JB выпустили ideшку для датасатанистов dataspell, но я попробовал, со спарком она пока как то не очень (если спарк с кубер контроллером) Хотя аналитик говорит мощная и удобная в общем штука, буду следить как допилят.

tg usr
Люстре? Кстати JB выпустили ideшку для датасатани...

https://www.lustre.org/ была создана для hpc на ее основе амазон запилил fsx Как иде у нас как раз джупитеры но у нас используется не опенсорс продукт, плюс еще че пробовали вещь вполне норм, ну и pycharm с плагином работает для нашей реализации

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Ребят, кто сталкивался с тем, что Electron.js не разворачивает билд React.js-приложения? Голый body в чёрном цвете, как и должно быть, но остального - нет. Билд работает исп...
..
6
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Anyone knows how to build this widget in Flutter? I have all the assets for round stations and the road, but how can I make the my widget animate between these stations? And h...
Mohammad Zamani
9
короче я не выдержал постоянно определять структуры, чтобы возвращать массивы разных типов. Как обычно еще это делают?
Павλо 🇺🇦
7
Если у очереди установлено x-message-ttl, при получении сообщения из этой очереди, можно узнать остаток времени жизни сообщения?
Сергей
8
Подскажите как мне лучше держать websocket сединение и переодически передавать в него данные? Сначала я сделал так: for _ in 1...1000 { try? await ws.send("test") try...
Mihail Verenich
2
Ты просто гитлеровскую эстетику плохо понимаешь. Он же всё под Цезаря делал. А это как бы запрещённый приём в политике. Пиджаки они зачем все носят? Чтобы показать что они тип...
Ivan Kropotkin
4
Карта сайта