Коллеги, подскажите, что сейчас лучше заюзать для разворачивания небольшого кластера

на bare-metal (около 5 железных серверов). Сам куб + виртуализация, хранилище, сеть. Нужно чтобы работало максимально без участия админа, чтобы малообученные люди могли добавлять сервера в кластер, чтобы скейлилось, обновлялось без проблем, чтобы надёжно и т.д. Плюс нужно будет сделать полную автоматизацию, желательно терраформом. Есть ли какие-то более простые подходы чем openstack, ceph, kubeadm и прочий оверкилл для маленького кластера? Может что-то коммерческое хорошее есть? Нагуглил Spectro Cloud + vSphere, но хз, что это за зверь, ещё варианты есть?

Кубеадм

vphere + cluster api, metal3+pxe+terraform, anthos + vsphere, k8s in k8s^ но вот этого "обновлялось без проблем" ты врядли достигнешь при любом подходе

+

Вот эта. Небольшой рабочий безгеморный куб если вкратце

> Нужно чтобы работало максимально без участия админа, чтобы малообученные люди могли добавлять сервера в кластер, чтобы скейлилось, обновлялось без проблем, чтобы надёжно и т.д. Вам такого даже облако не даст. А вы хотите на бареметал. Возьмем яндекс менеджед кластер. Нащелкали мы такие кластер в интерфейсе. А потом 1) Нужно же как-то туда деплоить. Фигачим argo/flux CI + helm + поддерживаем это в работоспособном состоянии + пишем чарты и поддерживаем их 2) Нужно же как-то мониторить, привет прометеус стек. Стандартных алертов и графиков в графане не хватает? Добавляем своих (человек без знаний конечно же очень быстро это все настроит) 3) Метрики нужно хранить очень долго, хм привет виктория метрикс 4) Логи? Куда собираем? Привет elk/loki 5) С резовлингом ДНС проблемы? А точно мы забыли воткнуть node-local-dns 6) Нужна oidc аутентификация? А хер там, поднимаем kube-oidc-proxu 7) Хотим что-то посмотреть в веб ui в кубе? Вот тут и различные дашборды подъедут 8) хм а нам же еще не хотелось бы чтобы namespace'ы между собой общались, ну накручиваем network policy 9) А еще не хотелось бы чтобы люди могли поднимать привелигированные контейнеры в кластере, ну привет gatekeeper, keyverno 10) Не хотим для каждого сервиса отдельный балансер? Ну тогда же нам еще нужен ingress-controller 11) Сертификаты от let'encrypt? cert-manager 12) Не хотим чтобы команда могла забить весь куб своими огромными подами или большим их количеством? Так нам же еще нужны limit-range и resource quota 13) Хотим ДНС'ы автоматом прописывать? external-dns 14) Не нравится что ноды после автоскейла не уходят? Так еще же нужен дешедулер Список можно продолжать бесконечно. Мало того что вариантов реализации по каждому пункту может быть множество и зависеть от требований. Без человека который будет всем этим заниматься и поддерживать точно не обойтись. А вы все это еще хотите на баре-метале. И чтобы это все управлялось людьми которые в этом не очень разбираются.

deckhouse.io

👍

ну если еще взять услугу у фланта

А как закрепить?

Всё это - про настройку самого куба, с этой то частью то мне всё понятно, managed кубом давно занимаюсь, вот своего пока не было. Вопрос мой был в том, есть ли решения, чтобы на bare metal сам контроллер безгеморно устанавливать и поддерживать. Ну типа, что-то похожее на managed сделать только на своих серверах. Уже посоветовали deckhouse, сам я нагуглил spectro cloud - это всё похоже на то что нужно

самый дешевый вариант реально взять у фланта услуги по сетапу и поддержке куба. Ну или у кого похожего.

про anthos почитай, если есть деньги

Я сам могу поставить :)

> Вопрос мой был в том, есть ли решения, чтобы на bare metal сам контроллер безгеморно устанавливать и поддерживать А ну таких вариантов масса. Контрол плейн же это просто несколько стейтлесс сервисов и etcd rke pke deckhouse kubespray talos.dev rke2, k3s Свое над kubeadm

vmware tanzu

стейтфул просто выносишь из кластера и усе Ну или на local-volume-provisioner Если на ceph нет железа и экспертизы

+

Лучше path ?

а локал path че динамичный? -)

че нравится то и берешь

Ну да - без квот правда

Спасибо, в общем буду пробовать это и deckhouse. А потом как бы не пришлось своё скриптить :)

квот там не будет по определению, это же path. В local-volume квоты из самого способа создания волума - ты сам их создаешь, на сколько создал на столько и будет волум