Не совсем в тему возможно, но может кто то пробовал

поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?

Через rook. Был такой эксперимент

Не страдай херней :)

нет, ну почему так сразу категорично? прохмоху вон не мешает дружба с цефом из коробки, есть кейсы, где это работает очевидно лучше чем другие варианты. Почему бы тогда не попробовать то же самое сделать с вмварей но не из коробки а руками?...

У меня работает. Использовал дистрибутив PetaSAN.org

Хорошо, а то я начал думать что из ума выжил.

Даже если ты нашел собрата по решению, это не значит, что ты здоров. Это может значить, что ты не один нездоров

Согласен надо было написать что не я один такой

Потому что у вари есть родной всан зачем там колхозить говносхему?

Я стесняюсь спросить, как Вам удалось именно поднять petasan на нодах vmware?

Только vsan стоит дохера. Для трехузлового кластера на vmware essentials в небольшой компании, он будет стоить дороже самих серверов

А в чем должна быть сложность? PetaSAN обычный линукс дистр, запускается в обычной виртуалке

Вы открыли достижения vsan и nutanix

Но зачем?

VMware HCI Kit ROBO Standard (per 25 VMs) includes vSphere ROBO Enterprise and vSAN ROBO Standard.

Им 4000 дорого. https://store-us.vmware.com/vmware-vsphere-remote-office-branch-office-standard-5653721300.html?country_code=HK

Вот только vmware больше не работает с клиентами из РФ

Это ужасно!! И что, нет никакой возможности купить на фирму в Казахстане?

Вот только это на 25 виртуалок, а если надо 75, то уже 12000 получается

А смысл? Если нет документов подтверждающих покупку. Так можно и на торрентах скачать с кейгеном.

Для решения таких вопросов обычно есть юридический отдел. Который может и сделать договор аренды итд. Или сказать что у них лапки

Есть разные схемы лицензирования, и да, всан не дешев, с этим никто не спорит. Но он дороже разве что супермикры без поддержки.

Если вмварь дорого используйте прокс там и цеф из коробки :)

Виталий На Заборе

драг прер еч автор, есть ли там чего почитать супротив старого доклада https://devopsconf.io/moscow/2021/abstracts/7458 ?

Почитать... ну можно доку почитать, она с тех пор появилась 😊 Скоро бенчи новые выложу, но TLDR - 3 ноды по 8 nvme и рдма, 4 ляма иопс на чтение, 1.5 ляма на запись (и то ещё в сеть упёрлось)

Виталий На Заборе

Поставить в вмварь?

В прокс. Но и к вмвари можно по NFS

по 3 или 4.1 ?

по 3 чего?

дока - это хорошо!

Какой энкодинг? 3 реплики?

Это про 2 реплики. Но протестировал все 3 варианта - 2 реплики, 3 реплики и EC 2+1 Я там с сетью долго мудохался - да и до сих пор при нагрузке rdma в полку ksortirqd ест 1 ядро на 100%, что свидетельствует о промахах RFS и том, что 2*25 гбит/с не утилизируются полностью (предполагаю, что один утилизируется, а второй нет) А так - у 3 реплик чтение примерно 4M иопс, запись 1M У EC чтение примерно 2.5M иопс, запись 850K (видел и 1М тоже, но стабильный результат всё же 850К)

Хорошие результаты. Потестить бы схемы побольше, 3+2 или 4+2 например.

Ну с 4+2 ставлю на то что на запись иопсов будет ровно в 2 раза меньше, а на чтение столько же))