Всем привет. Вопрос по стораджу. На одном из моих проектов достаточно

большие расходы в Google Cloud, думаю оптимизировать их и перенести его в Hetzner на bare metal. Проект состоит в том числе из кучи разных БД (postgres, mongodb, clickhouse), которые сейчас развернуты просто на виртуалках и сетевых SSD дисках. Думаю при переезде в куб на bare metal можно эти БД поднять в самом кубе.

Если переезжать на Hetzner, можно взять 5 дедиков в разных локациях в Германии с кучей NVMe дисков и использовать условный Rook. То есть те же машины, что будут выступать kubernetes воркер нодами, будут еще и стораджем выступать. Проблема в том, что даже с 10-гбитной приватной сетью (vSwitch) между этими нодами будут проблемы с производительностью у БД, как с задержками и iops-ами, так и с шириной канала.

100-гбит сеть между датацентрами даже в одном городе никто не предоставляет из провайдеров, только если самому где-то арендовать оптику.

Я так понимаю лучше всего по перфомансу будет использование local volumes, чтобы условный postgres не ходил за данными по всем нодам ceph'a через сеть а всегда имел локальный сверхбыстрый доступ к диску? А для надежности использовать репликацию, которая уже не так сильно будет грузить сеть.

И как бы вы вообще поступили в такой, довольно-таки типичной (вроде как) ситуации?
Сильно не бейте, никогда не имел дел со стораджем на bare metal куб-кластерах

ну... у меня опыта рабоы с хецнером наверное года 3+, если не больше.. и я скажу примерно так - если вы не боитесь, если ваши сервера внезапно перестанут отвечать, то можете переехать сервера могут ребутнуться, могут внезапно быть выключенными, юзанные ссд вам воткнут, с послесдствиями... и это только верхушка.. так что вы три раза подумайте, надо ли вам это

если не вдаваться в подробности хетзнера и че там он офферит я бы в локал провижинер сделал и не ебался

Зато экономия!

Ну вот мы щас платим порядка 11к евро гугл клауду, по моим подсчётам хецнер выйдет где-то в 2000)

экономия, это продать почку того, кто предложил переехать в хецнер, ради экономии...

и х2 потери бизнеса от проебов хецнера

трейдофф, дешевле -> проблемнее -> больше затраты на сапорт и траты вашего времени

Автор, видимо, сам и придумал 😏

а время сапорта и ваше и простои это тоже деньги

Это не считая собственных затрат на поддержку

все так

11к не так много. Вот если бы сьэкономленные бабки тебе выплатили, то ещё можно было бы подсуетиться

Не надо использовать Rook

Несите кота и лампу

done

А разве запакованный в контейнер ceph с обвесом в виде контроллера обещает что-то хорошее в принципе?

Конечно, я вам открою страшную тайну я с таким сетапом живу с 20 года 🫡 и обновляюсь еще при этом, да и современный cephadm это тоже контейнеры и все хорошо.

А мне завтра достанет в дар хренова гора говно-инфры в хетцнере, а там и цеф и куб и базы. Так что через пару недель приходи расскажу как это все говно работает. Может вполне жизнеспособно 🤷‍♂

Ооо, это сулит много секаса. Даже не так - МОРЕ секаса 😂😂😂