Есть куча серверов в которых установлены но еще никак не

используются от 1 до 98 дисков. Серверы давно в проде и мы издревле деплоим на них наше монорепо через rsync и nixpkgs - то есть можем легко запушить идентичные бинарники и конфиги для Цефа. Думаю как бы собрать из этого кластер для внутренних нужд обжект стоража.

Очень хочется задекларировать все UUID ненужных дисков в одном файле, чтоб при деплое для каждого диска спавнился OSD и джойнился в кластер. Так чтоб если этот диск переставить в другую ноду и сделать редеплой (простой скрипт который листает доступные диски и запускает OSD если они не запущены), чтоб OSD заспавнился на новой ноде? Нормальная ли это идея, или помешает какая-то локальная метадата которую OSD создает после запуска?

9 ответов

18 просмотров

Не помешает, более того, если просто задеплоить осд на диск через ceph-volume, то потом при перетыкании он сам поднимется

A: У нас есть железо которое непригодно и выкинуть жалко можно на нем поднять цеф? A: да, и хранить на нем данные которые не нужны а удалить жалко.

Ну вы сами подумайте. Вот вещи в доме, уложенные в определённом порядке. Тут носки, тут трусы, там штаны. Приезжает тёща и ящики редеплоит по своему разумению. Нуаче такого? Такая у неё мета. Ага... Это так... Для примитивного примера.

если пойдете через модный цефадм, то он автоматом положит вам осд на все диски на которых не будет разделов. если диск переставить в новую ноду и сделать редеплой или ceph-volume activate, в классическом исполнении, то он вполне нормально поднимится т.е. диск является отчуждаемым вся нужная мета лежит на нем. С у чётом разнобоя по количеству дисков стоит хорошенько посчитать как ресурсы (98 дисков потребуют не мало) так и, например, фактор репликации или уровень ец чтоб ненароком не вырубить 3 однодисковых сервера при трех репликах 🙂

Alexander mamahtehok
если пойдете через модный цефадм, то он автоматом ...

Правильно ли я понимаю, что если у hdd osd вынесен wal на ssd, то перенос на другую ноду только hdd (без переноса ssd) таким образом не получится?

без разницы

Виталий На Заборе
без разницы

да я просто удивился, что только wal вынесли

Похожие вопросы

Обсуждают сегодня

Не совсем в тему возможно, но может кто то пробовал поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?
Alexander Zaitsev
34
Привет. Изучаю возможности iscsi gateway и у меня проблема. Я сделал по ману из оф. доки, но спустя какое-то время кластер начал ругаться след.ошибкой: user@ceph-node1:~$ sudo...
Vladimir Ivanov
3
Всем добра. продолжаю знакомится с ceph, возник вопрос на который я с ходу найти ответ не могу. Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном дат...
mendisobal
28
Подскажите пожалуйста, а вот много вижу что фактор репликации надо ставить 3 и выше, мониторов по больше. Неужели цеф настолько нестабильный? Или просто используется в мощных ...
Тау Фокс
28
Всем здарова. После нештатного отключения электричества не запускаются два из трех OSD кластера Ceph, резвернутого через rook в кубере. Логи expand-bluefs 2023-10-09T09:15:23...
Vlad Trefilov
4
Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph -v ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable) На...
Nesterov Ivan
7
Добрый день! Коллеги, подскажите пожалуйста, насколько целесообразно использовать CEPH, в качестве SDS для системы фото видео фиксации в проекте "Безопасный город"? Планируе...
Victor
23
Вот запихали диски в полки. Дальше что? Интерконнект сетевой между серверами какой нужен? Ну чтобы и публичка и бэк CEPH-а за ресурсы сетевые не передрались. А еще по публичк...
Andrey Nemysskiy
7
Есть ли какой-то штатный или известный механизм ограничения количества одновременного запуска осд при старте ноды в container-based кластере с cephadm? Или вариант с кастомиза...
Qntm
17
как понять какие физические диски используются в кластере ?
DimaE
17
Карта сайта