Через некоторое время после того как повышаю нагрузку на запись

в RGW бакет, начинают отваливаться OSD по непонятной причине. Вот например osd.1 помечен как out,down, однако в его логах поочередно то пишутся дампы статистики, то вот такие строчки:

2022-02-20T20:13:18.778+0000 7f6374ba3700 -1 monclient: _check_auth_rotating possible clock skew, rotating keys expired way too early (before 2022-02-20T19:13:18.784161+0000)

Я этот бакет разделил на 1000 шардов, но все равно разваливается весь кластер когда нагрузка PUT чуть доходит до 5МБ/с.

Олсо, как правильно поднять лежачий OSD в убунте? cephadm для него не сделал старт скрипта похоже, systemctl start подсказывает лишь ceph-crash.service ceph.service.

2 ответов

9 просмотров

possible clock skew - а время не разъехалось между нодами случайно?

blkmrkt- Автор вопроса
Pavel Astakhov
possible clock skew - а время не разъехалось между...

Там только одна нода, не представляю как между докер контейнерами мог случиться рассинхрон

Похожие вопросы

Обсуждают сегодня

Не совсем в тему возможно, но может кто то пробовал поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?
Alexander Zaitsev
34
Привет. Изучаю возможности iscsi gateway и у меня проблема. Я сделал по ману из оф. доки, но спустя какое-то время кластер начал ругаться след.ошибкой: user@ceph-node1:~$ sudo...
Vladimir Ivanov
3
Всем здарова. После нештатного отключения электричества не запускаются два из трех OSD кластера Ceph, резвернутого через rook в кубере. Логи expand-bluefs 2023-10-09T09:15:23...
Vlad Trefilov
4
Подскажите пожалуйста, а вот много вижу что фактор репликации надо ставить 3 и выше, мониторов по больше. Неужели цеф настолько нестабильный? Или просто используется в мощных ...
Тау Фокс
28
Всем добра. продолжаю знакомится с ceph, возник вопрос на который я с ходу найти ответ не могу. Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном дат...
mendisobal
28
Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph -v ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable) На...
Nesterov Ivan
7
Добрый день! Коллеги, подскажите пожалуйста, насколько целесообразно использовать CEPH, в качестве SDS для системы фото видео фиксации в проекте "Безопасный город"? Планируе...
Victor
23
Есть ли какой-то штатный или известный механизм ограничения количества одновременного запуска осд при старте ноды в container-based кластере с cephadm? Или вариант с кастомиза...
Qntm
17
Вот запихали диски в полки. Дальше что? Интерконнект сетевой между серверами какой нужен? Ну чтобы и публичка и бэк CEPH-а за ресурсы сетевые не передрались. А еще по публичк...
Andrey Nemysskiy
7
#Вопрос Доброе утро. Есть 3 ноды Proxmox на каждой ноде LAN 10g 8Nmve u2 ssd на текущий момент zfs, СХД нет есть жирный NAS на 180tb. На сколько велика вероятность катастрофы...
f1gar0 tyt
14
Карта сайта