Есть ли какой-то штатный или известный механизм ограничения количества одновременного

запуска осд при старте ноды в container-based кластере с cephadm?
Или вариант с кастомизацией юнитов единственный?

17 ответов

74 просмотра

А напиши лучше ЗАЧЕМ

Т.е у тебя на сервере 10 осд, но ты решил запустить 4, так?

Qntm- Автор вопроса
Mark ☢️ Korenberg
А напиши лучше ЗАЧЕМ

Если осд завершил работу не graceful с точки зрения сифа, при старте он начинает процесс 'full recovery from onode" или типа того, что само по себе занимает много времени и не очень здорово, но бог с ним, а вот проблема что этот процесс кушает много памяти, и когда с дюжину осд этот процесс запускает, например при старте ноды, памяти резко не хватает и процесс этого рекавери до конца не доходит, сиф в итоге не стартует, приходится ждать отлупа таймаутов и включать по одной-двум осд

Qntm- Автор вопроса
Roman
Т.е у тебя на сервере 10 осд, но ты решил запустит...

Поправка - одновременного запуска а не запуска вообще, т.е. сначала 2, через 10 мин ещё 2 и т.д., как-то так

Qntm
Если осд завершил работу не graceful с точки зрени...

Если у тебя не хватает памяти под осд - тоби пизда. Потому что когда пойдет активный рекавери - будет ж0па

Qntm- Автор вопроса
Mark ☢️ Korenberg
Если у тебя не хватает памяти под осд - тоби пизда...

Так при штатной работе хватает более чем. Или такая ситуация в целом уже красный флажок?

Qntm
Если осд завершил работу не graceful с точки зрени...

У тебя памяти 16 гб чтоли? На 128 и 12 осд с таким запуском - никаких проблем не было, цеф 17.2.6.

Qntm
Так при штатной работе хватает более чем. Или така...

Потому что штатная может внезапно стать нештатной. Когда ДРУГИЕ осд начнут прикалываться

Qntm- Автор вопроса
Roman
У тебя памяти 16 гб чтоли? На 128 и 12 осд с таким...

192, 6х 8тб хдд осд и 6х 1.6тб ссд осд, 5 нод идентичных

Qntm- Автор вопроса
Qntm
192, 6х 8тб хдд осд и 6х 1.6тб ссд осд, 5 нод иден...

В целом, если допустить что реально такого объема не хватает (или не хватит для отработки дизастера), по какой формуле стоит считать целевой размер памяти?

Qntm
В целом, если допустить что реально такого объема ...

Скорее чтото в на тройках, у тебя по 16т на осд примерно выглядит. Этого должно быть более сем достаточно

Qntm- Автор вопроса
Qntm
Если осд завершил работу не graceful с точки зрени...

Неужели никто с этим не сталкивался? Не только с памятью, вообще с таким стартом осд. Не приходилось поднимать тайм-аут старта в юнитах осд, потому что рекавери не вписывался в дефолтные 200 сек?

Qntm
Неужели никто с этим не сталкивался? Не только с п...

Дак если юнит системды, значит видимо не в калтейнерах. Либо калтейнеры поднимаются системдой. Тогда у системды есть пределтный коэффициент параллельности по юнитам вроде как.

Qntm- Автор вопроса
Mark ☢️ Korenberg
Дак если юнит системды, значит видимо не в калтейн...

Если бутстрапить кластер по офдоке через сифадм, он пулит контейнеры и мапит на них юниты системд. Да, то что можно через кастомизацию юнитов сделать - факт, было интересно наличие штатного механизма или иного решения подобной задачи

Qntm
Если бутстрапить кластер по офдоке через сифадм, о...

Штатного ничего подобного я не припомню. Либо юниты пилить оибо контейнеры

Похожие вопросы

Обсуждают сегодня

Не совсем в тему возможно, но может кто то пробовал поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?
Alexander Zaitsev
34
Привет. Изучаю возможности iscsi gateway и у меня проблема. Я сделал по ману из оф. доки, но спустя какое-то время кластер начал ругаться след.ошибкой: user@ceph-node1:~$ sudo...
Vladimir Ivanov
3
Всем добра. продолжаю знакомится с ceph, возник вопрос на который я с ходу найти ответ не могу. Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном дат...
mendisobal
28
Подскажите пожалуйста, а вот много вижу что фактор репликации надо ставить 3 и выше, мониторов по больше. Неужели цеф настолько нестабильный? Или просто используется в мощных ...
Тау Фокс
28
Всем здарова. После нештатного отключения электричества не запускаются два из трех OSD кластера Ceph, резвернутого через rook в кубере. Логи expand-bluefs 2023-10-09T09:15:23...
Vlad Trefilov
4
Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph -v ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable) На...
Nesterov Ivan
7
Добрый день! Коллеги, подскажите пожалуйста, насколько целесообразно использовать CEPH, в качестве SDS для системы фото видео фиксации в проекте "Безопасный город"? Планируе...
Victor
23
Вот запихали диски в полки. Дальше что? Интерконнект сетевой между серверами какой нужен? Ну чтобы и публичка и бэк CEPH-а за ресурсы сетевые не передрались. А еще по публичк...
Andrey Nemysskiy
7
как понять какие физические диски используются в кластере ?
DimaE
17
Привет, коллеги! Пятница, время охуенных вопросов по RGW. Задача - сделать гранулярный доступ к директориям в бакете. У aws есть пример ну, чтож сделаем по примеру следующую п...
Andrey S
6
Карта сайта