с ceph rdb. Создала pvc, приклерила к нему под, под заработал.
Со стороны сефа глянула, нашла командой
rados -p k8s ls | grep ^rbd_data.5f2c6aff16e660
что он там создает и что cepdh osd map ошибок не выдает (веоятно, все смонтировано нормально)?
Потом тушу одну ноду кластера и я рассчитывала, что под склеится на одной ноде и переползет на другую.
Но под зависает на первой ноде в статусе terminating, в логах выдавая, что "Node is not ready" - что как бы так и есть, ноду я прибила.
Но на второй ноде под не разворачивается, ругаясь на Unable to attach or mount volumes: unmounted volumes= и unattached volumes= :timed out waiting for the condition
Из этого состояния под вылазить не хочет. Должен ли под в таких условиях сам переползать на здоровую ноду?
что я могу глянуть со стороны сефа?
Как настроен ceph в кубере?
storageclass и rbd provisioner, если я правильно поняла вопрос. Линукс ядро у сефа? Linux 3.10.0-1160.41.1.el7.x86_64 x86_64
Нет. Ядра на нодах кубера какое. Ceph-csi используется или тупо на нодах клиенты ceph?
Лучше используй csi ceph. Он сам следит что и куда примонтировано и создаёт pv при необходимости
Linux 3.10.0-1160.41.1.el7.x86_64 x86_64 Просто ceph. csi тоже есть но для данного конретного случая нужен ceph
А рубанула году каким образом?
шатдаун в проксмоксе. Пробовала просто pause через него же, но эффект тот же
Csi это контроллер, который следит за pv и создает их, в данном случае он может и ceph управлять.
Скорее всего в цефе залипает инфа, что rbd уже примаунчен куда-то. Тут только страдать.
Посмотри на второй ноде, там вообще в mount этот диск есть ?
Ему же пофиг, он rwm.
Ну или куб думает, что rbd примаунчен)
ого. Не-а. нетути. Сколько нам открытий чудных.
Так в том то и дело, либо руками все надо делать, а лучше использовать csi драйвер ceph в кубе. (И использовать модуль ядра, а не fuse)
Там уже кучу советов дали, но еще важный нюанс: Если у тебя под в statefulset, то такое поведение нормально. Так и должно быть (я про зависание в статусе Terminating и то что pod не может уехать на другую ноду)
Не, у меня деплоймент. Спасибо. Интересно, что при перевозе через всякие тейнты и толерейшены все нормально размонтируется и монтируется обратно. Наверное, так и должно быть.
Обсуждают сегодня