Есть куча серверов в которых установлены но еще никак не

используются от 1 до 98 дисков. Серверы давно в проде и мы издревле деплоим на них наше монорепо через rsync и nixpkgs - то есть можем легко запушить идентичные бинарники и конфиги для Цефа. Думаю как бы собрать из этого кластер для внутренних нужд обжект стоража.

Очень хочется задекларировать все UUID ненужных дисков в одном файле, чтоб при деплое для каждого диска спавнился OSD и джойнился в кластер. Так чтоб если этот диск переставить в другую ноду и сделать редеплой (простой скрипт который листает доступные диски и запускает OSD если они не запущены), чтоб OSD заспавнился на новой ноде? Нормальная ли это идея, или помешает какая-то локальная метадата которую OSD создает после запуска?

9 ответов

10 просмотров

Не помешает, более того, если просто задеплоить осд на диск через ceph-volume, то потом при перетыкании он сам поднимется

A: У нас есть железо которое непригодно и выкинуть жалко можно на нем поднять цеф? A: да, и хранить на нем данные которые не нужны а удалить жалко.

Ну вы сами подумайте. Вот вещи в доме, уложенные в определённом порядке. Тут носки, тут трусы, там штаны. Приезжает тёща и ящики редеплоит по своему разумению. Нуаче такого? Такая у неё мета. Ага... Это так... Для примитивного примера.

если пойдете через модный цефадм, то он автоматом положит вам осд на все диски на которых не будет разделов. если диск переставить в новую ноду и сделать редеплой или ceph-volume activate, в классическом исполнении, то он вполне нормально поднимится т.е. диск является отчуждаемым вся нужная мета лежит на нем. С у чётом разнобоя по количеству дисков стоит хорошенько посчитать как ресурсы (98 дисков потребуют не мало) так и, например, фактор репликации или уровень ец чтоб ненароком не вырубить 3 однодисковых сервера при трех репликах 🙂

Alexander mamahtehok
если пойдете через модный цефадм, то он автоматом ...

Правильно ли я понимаю, что если у hdd osd вынесен wal на ssd, то перенос на другую ноду только hdd (без переноса ssd) таким образом не получится?

без разницы

Виталий На Заборе
без разницы

да я просто удивился, что только wal вынесли

Похожие вопросы

Обсуждают сегодня

Не совсем в тему возможно, но может кто то пробовал поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?
Alexander Zaitsev
34
Привет. Изучаю возможности iscsi gateway и у меня проблема. Я сделал по ману из оф. доки, но спустя какое-то время кластер начал ругаться след.ошибкой: user@ceph-node1:~$ sudo...
Vladimir Ivanov
3
Всем здарова. После нештатного отключения электричества не запускаются два из трех OSD кластера Ceph, резвернутого через rook в кубере. Логи expand-bluefs 2023-10-09T09:15:23...
Vlad Trefilov
4
Подскажите пожалуйста, а вот много вижу что фактор репликации надо ставить 3 и выше, мониторов по больше. Неужели цеф настолько нестабильный? Или просто используется в мощных ...
Тау Фокс
28
Всем добра. продолжаю знакомится с ceph, возник вопрос на который я с ходу найти ответ не могу. Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном дат...
mendisobal
28
Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph -v ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable) На...
Nesterov Ivan
7
Добрый день! Коллеги, подскажите пожалуйста, насколько целесообразно использовать CEPH, в качестве SDS для системы фото видео фиксации в проекте "Безопасный город"? Планируе...
Victor
23
Есть ли какой-то штатный или известный механизм ограничения количества одновременного запуска осд при старте ноды в container-based кластере с cephadm? Или вариант с кастомиза...
Qntm
17
Вот запихали диски в полки. Дальше что? Интерконнект сетевой между серверами какой нужен? Ну чтобы и публичка и бэк CEPH-а за ресурсы сетевые не передрались. А еще по публичк...
Andrey Nemysskiy
7
#Вопрос Доброе утро. Есть 3 ноды Proxmox на каждой ноде LAN 10g 8Nmve u2 ssd на текущий момент zfs, СХД нет есть жирный NAS на 180tb. На сколько велика вероятность катастрофы...
f1gar0 tyt
14
Карта сайта