172 похожих чатов

Добрый день. Я тут пытаюсь разобраться в поведении подов в связке

с ceph rdb. Создала pvc, приклерила к нему под, под заработал.

Со стороны сефа глянула, нашла командой
rados -p k8s ls | grep ^rbd_data.5f2c6aff16e660
что он там создает и что cepdh osd map ошибок не выдает (веоятно, все смонтировано нормально)?

Потом тушу одну ноду кластера и я рассчитывала, что под склеится на одной ноде и переползет на другую.

Но под зависает на первой ноде в статусе terminating, в логах выдавая, что "Node is not ready" - что как бы так и есть, ноду я прибила.
Но на второй ноде под не разворачивается, ругаясь на Unable to attach or mount volumes: unmounted volumes= и unattached volumes= :timed out waiting for the condition

Из этого состояния под вылазить не хочет. Должен ли под в таких условиях сам переползать на здоровую ноду?
что я могу глянуть со стороны сефа?

16 ответов

33 просмотра

Как настроен ceph в кубере?

27662-Loa Автор вопроса

storageclass и rbd provisioner, если я правильно поняла вопрос. Линукс ядро у сефа? Linux 3.10.0-1160.41.1.el7.x86_64 x86_64

27662 Loa
storageclass и rbd provisioner, если я правильно п...

Нет. Ядра на нодах кубера какое. Ceph-csi используется или тупо на нодах клиенты ceph?

Лучше используй csi ceph. Он сам следит что и куда примонтировано и создаёт pv при необходимости

27662-Loa Автор вопроса
Fire Fighter
Нет. Ядра на нодах кубера какое. Ceph-csi использу...

Linux 3.10.0-1160.41.1.el7.x86_64 x86_64 Просто ceph. csi тоже есть но для данного конретного случая нужен ceph

27662 Loa
Linux 3.10.0-1160.41.1.el7.x86_64 x86_64 Просто ...

А рубанула году каким образом?

27662-Loa Автор вопроса
Fire Fighter
А рубанула году каким образом?

шатдаун в проксмоксе. Пробовала просто pause через него же, но эффект тот же

27662 Loa
Linux 3.10.0-1160.41.1.el7.x86_64 x86_64 Просто ...

Csi это контроллер, который следит за pv и создает их, в данном случае он может и ceph управлять.

27662 Loa
шатдаун в проксмоксе. Пробовала просто pause через...

Скорее всего в цефе залипает инфа, что rbd уже примаунчен куда-то. Тут только страдать.

Посмотри на второй ноде, там вообще в mount этот диск есть ?

Ему же пофиг, он rwm.

Alexander
Ему же пофиг, он rwm.

Ну или куб думает, что rbd примаунчен)

27662-Loa Автор вопроса
Alexander
Посмотри на второй ноде, там вообще в mount этот д...

ого. Не-а. нетути. Сколько нам открытий чудных.

27662 Loa
ого. Не-а. нетути. Сколько нам открытий чудных.

Так в том то и дело, либо руками все надо делать, а лучше использовать csi драйвер ceph в кубе. (И использовать модуль ядра, а не fuse)

Там уже кучу советов дали, но еще важный нюанс: Если у тебя под в statefulset, то такое поведение нормально. Так и должно быть (я про зависание в статусе Terminating и то что pod не может уехать на другую ноду)

27662-Loa Автор вопроса
Dmitry Sergeev 🇺🇦
Там уже кучу советов дали, но еще важный нюанс: Ес...

Не, у меня деплоймент. Спасибо. Интересно, что при перевозе через всякие тейнты и толерейшены все нормально размонтируется и монтируется обратно. Наверное, так и должно быть.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта