Всем привет . Есть кластер 12 нод , 10 nvme

деленный пополам -> итого 20 osd на ноду(1.7Тб). Памяти на нодах 1 - 96Гб , 5 - 128Гб, 6 -256Гб.
С недавнего времени появились тормоза в кластере ровно каждые 20минут.
8 slow ops, oldest one blocked for 49 sec, mon.ceph-1 has slow ops
и разное количество лагающих pg
[1|3|5|8] active+clean+laggy
Что это может быть ? Куда копать ?
п.с. Длится это 1-10 сек и проходит.

11 ответов

22 просмотра

а мониторинг-то есть?

Sergey- Автор вопроса
Igor
а мониторинг-то есть?

есть Network Receive такой же по форме

А что за ссд?

Sergey- Автор вопроса
Roman
А что за ссд?

nvme Micron_9300_MTFDHAL3T8TDP

Sergey
screenshot

У тебя какой то диск тупит, скоро ему придет конец

Ilya Intelligent
У тебя какой то диск тупит, скоро ему придет конец

Т.е. 120 дисков, тупит ровно один, а просаживается вообще весь кластер, и трафик падает на вообще всех нодах?

Petrovich
Т.е. 120 дисков, тупит ровно один, а просаживается...

это может быть метаинформация если это о fs или же какой конфигурационный пул если о rbd или iscsi

Sergey- Автор вопроса
Ilya Intelligent
это может быть метаинформация если это о fs или же...

Там только rbd и немного rgw в этом кластере. А что такое конфигурационный пул в контексте rbd ?

Sergey
Там только rbd и немного rgw в этом кластере. А чт...

может пул .mgr который создается автоматически

Похожие вопросы

Обсуждают сегодня

Не совсем в тему возможно, но может кто то пробовал поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?
Alexander Zaitsev
34
Привет. Изучаю возможности iscsi gateway и у меня проблема. Я сделал по ману из оф. доки, но спустя какое-то время кластер начал ругаться след.ошибкой: user@ceph-node1:~$ sudo...
Vladimir Ivanov
3
Всем здарова. После нештатного отключения электричества не запускаются два из трех OSD кластера Ceph, резвернутого через rook в кубере. Логи expand-bluefs 2023-10-09T09:15:23...
Vlad Trefilov
4
Подскажите пожалуйста, а вот много вижу что фактор репликации надо ставить 3 и выше, мониторов по больше. Неужели цеф настолько нестабильный? Или просто используется в мощных ...
Тау Фокс
28
Всем добра. продолжаю знакомится с ceph, возник вопрос на который я с ходу найти ответ не могу. Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном дат...
mendisobal
28
Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph -v ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable) На...
Nesterov Ivan
7
Добрый день! Коллеги, подскажите пожалуйста, насколько целесообразно использовать CEPH, в качестве SDS для системы фото видео фиксации в проекте "Безопасный город"? Планируе...
Victor
23
Вот запихали диски в полки. Дальше что? Интерконнект сетевой между серверами какой нужен? Ну чтобы и публичка и бэк CEPH-а за ресурсы сетевые не передрались. А еще по публичк...
Andrey Nemysskiy
7
Есть ли какой-то штатный или известный механизм ограничения количества одновременного запуска осд при старте ноды в container-based кластере с cephadm? Или вариант с кастомиза...
Qntm
17
как понять какие физические диски используются в кластере ?
DimaE
17
Карта сайта