ли для кубера provisioner для minio?
Если коротко то идея в том что есть jupyter, и хотелось бы чтобы локальная home папка юпитера внутри пода смотрела на бакет minio.
s3 fuse жутко тормозной. Его для этих целей лучше не юзать
А ты смотрел как это в кубефлоу решено?
В том числе и поэтому
Jupiter hub?
На него смотрели, но для одного аналитика вроде как оверхед, пока достаточно обычного юпитера. Но может и пришло время в эту сторону посмотреть снова. Спасибо.
Неа, если честно то и не был в курсе про этот проект. Всегда юзали юпитер и было достаточно. Спасибо, гляну.
еще можно датаайку посмотреть это целая платформа, ну и у минио вполне нормальный оператор
ели хаб оверхед то кубфло и датайку вдойне
Сам минио развернут, с ним проблем нет. Просто мне казалось что где то я встречал упоминание о provisioner для minio/s3. Я себе решил что будет работать как обычный provisioner, мол pvc просишь, он тебе выделяет и ты его как volume внутрь пода в home папку юпитера пробрасываешь.
джупитер не приспособлен для кубера, для кубера надо смотреть хаб
local-volume-provisioner заюзай
Ну глобально я понимаю, просто до этого момента он себе крутился подом тихонько и кушать не просил. Таски в спарк кидал и норм. Но похоже пора смотреть что то более серьезное.
Может под вечер туплю, но идею не понял, а как local поможет забрасывать данные на minio?
если еще пайспарк то тогда уже пора смотреть в сторону пайплайнов
а не надо на minio. Тебе же волум нужен как я понял?
Не, я там в основном вопросе писал, как раз на локал вольюм не проблема. Была странная идея использовать что-то чтобы minio пробросить внутрь юпитера как его home folder 😊
нееее слушай так не надо вообще в кубфло это работает через жопу юзай обычные пв и минио как обжект
Ну сейчас +- так и есть, внутрь юпитера условно hostPath PV монтируется как хоум фолдер юпитера где скрипты лежат, а minio как object для данных и спарка.
мы для датасатанист платформы юзали блобы как волюмы но это фигня жесткая), в итоге живем на люстре+блобы как датасет соурс указаны
Люстре? Кстати JB выпустили ideшку для датасатанистов dataspell, но я попробовал, со спарком она пока как то не очень (если спарк с кубер контроллером) Хотя аналитик говорит мощная и удобная в общем штука, буду следить как допилят.
https://www.lustre.org/ была создана для hpc на ее основе амазон запилил fsx Как иде у нас как раз джупитеры но у нас используется не опенсорс продукт, плюс еще че пробовали вещь вполне норм, ну и pycharm с плагином работает для нашей реализации
Обсуждают сегодня