Есть ли какой-то штатный или известный механизм ограничения количества одновременного

запуска осд при старте ноды в container-based кластере с cephadm?
Или вариант с кастомизацией юнитов единственный?

17 ответов

27 просмотров

А напиши лучше ЗАЧЕМ

Т.е у тебя на сервере 10 осд, но ты решил запустить 4, так?

Qntm- Автор вопроса
Mark ☢️ Korenberg
А напиши лучше ЗАЧЕМ

Если осд завершил работу не graceful с точки зрения сифа, при старте он начинает процесс 'full recovery from onode" или типа того, что само по себе занимает много времени и не очень здорово, но бог с ним, а вот проблема что этот процесс кушает много памяти, и когда с дюжину осд этот процесс запускает, например при старте ноды, памяти резко не хватает и процесс этого рекавери до конца не доходит, сиф в итоге не стартует, приходится ждать отлупа таймаутов и включать по одной-двум осд

Qntm- Автор вопроса
Roman
Т.е у тебя на сервере 10 осд, но ты решил запустит...

Поправка - одновременного запуска а не запуска вообще, т.е. сначала 2, через 10 мин ещё 2 и т.д., как-то так

Qntm
Если осд завершил работу не graceful с точки зрени...

Если у тебя не хватает памяти под осд - тоби пизда. Потому что когда пойдет активный рекавери - будет ж0па

Qntm- Автор вопроса
Mark ☢️ Korenberg
Если у тебя не хватает памяти под осд - тоби пизда...

Так при штатной работе хватает более чем. Или такая ситуация в целом уже красный флажок?

Qntm
Если осд завершил работу не graceful с точки зрени...

У тебя памяти 16 гб чтоли? На 128 и 12 осд с таким запуском - никаких проблем не было, цеф 17.2.6.

Qntm
Так при штатной работе хватает более чем. Или така...

Потому что штатная может внезапно стать нештатной. Когда ДРУГИЕ осд начнут прикалываться

Qntm- Автор вопроса
Roman
У тебя памяти 16 гб чтоли? На 128 и 12 осд с таким...

192, 6х 8тб хдд осд и 6х 1.6тб ссд осд, 5 нод идентичных

Qntm- Автор вопроса
Qntm
192, 6х 8тб хдд осд и 6х 1.6тб ссд осд, 5 нод иден...

В целом, если допустить что реально такого объема не хватает (или не хватит для отработки дизастера), по какой формуле стоит считать целевой размер памяти?

Qntm
В целом, если допустить что реально такого объема ...

Скорее чтото в на тройках, у тебя по 16т на осд примерно выглядит. Этого должно быть более сем достаточно

Qntm- Автор вопроса
Qntm- Автор вопроса
Qntm
Если осд завершил работу не graceful с точки зрени...

Неужели никто с этим не сталкивался? Не только с памятью, вообще с таким стартом осд. Не приходилось поднимать тайм-аут старта в юнитах осд, потому что рекавери не вписывался в дефолтные 200 сек?

Qntm
Неужели никто с этим не сталкивался? Не только с п...

Дак если юнит системды, значит видимо не в калтейнерах. Либо калтейнеры поднимаются системдой. Тогда у системды есть пределтный коэффициент параллельности по юнитам вроде как.

Qntm- Автор вопроса
Mark ☢️ Korenberg
Дак если юнит системды, значит видимо не в калтейн...

Если бутстрапить кластер по офдоке через сифадм, он пулит контейнеры и мапит на них юниты системд. Да, то что можно через кастомизацию юнитов сделать - факт, было интересно наличие штатного механизма или иного решения подобной задачи

Qntm
Если бутстрапить кластер по офдоке через сифадм, о...

Штатного ничего подобного я не припомню. Либо юниты пилить оибо контейнеры

Похожие вопросы

Обсуждают сегодня

Не совсем в тему возможно, но может кто то пробовал поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?
Alexander Zaitsev
34
Привет. Изучаю возможности iscsi gateway и у меня проблема. Я сделал по ману из оф. доки, но спустя какое-то время кластер начал ругаться след.ошибкой: user@ceph-node1:~$ sudo...
Vladimir Ivanov
3
Всем здарова. После нештатного отключения электричества не запускаются два из трех OSD кластера Ceph, резвернутого через rook в кубере. Логи expand-bluefs 2023-10-09T09:15:23...
Vlad Trefilov
4
Подскажите пожалуйста, а вот много вижу что фактор репликации надо ставить 3 и выше, мониторов по больше. Неужели цеф настолько нестабильный? Или просто используется в мощных ...
Тау Фокс
28
Всем добра. продолжаю знакомится с ceph, возник вопрос на который я с ходу найти ответ не могу. Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном дат...
mendisobal
28
Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph -v ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable) На...
Nesterov Ivan
7
Добрый день! Коллеги, подскажите пожалуйста, насколько целесообразно использовать CEPH, в качестве SDS для системы фото видео фиксации в проекте "Безопасный город"? Планируе...
Victor
23
#Вопрос Доброе утро. Есть 3 ноды Proxmox на каждой ноде LAN 10g 8Nmve u2 ssd на текущий момент zfs, СХД нет есть жирный NAS на 180tb. На сколько велика вероятность катастрофы...
f1gar0 tyt
14
Вот запихали диски в полки. Дальше что? Интерконнект сетевой между серверами какой нужен? Ну чтобы и публичка и бэк CEPH-а за ресурсы сетевые не передрались. А еще по публичк...
Andrey Nemysskiy
7
есть идеи почему так много места занято метадатой? ceph tell osd compact не помог, пересоздание osd.12 не помогло (хотя почему-то теперь он говорит 49G omap, а не метадата). Н...
Ivan
4
Карта сайта