Всем привет. Настраиваю подключение ceph-csi к k8s. Использую документацию отсюда https://github.com/ceph/ceph-csi кластер

k8s version v1.20.7
кластер ceph version 15.2.13
При использовании
provisioner: rbd.csi.ceph.com
, блочные устройства успешно создаются.
При использовании
provisioner: cephfs.csi.ceph.com
, PVC не создаются, на этапе создания PVC в логе контейнера csi-provisioner вижу ошибку
CreateVolume failed, supports topology = false, node selected false => may reschedule = false => state = Finished: rpc error: code = InvalidArgument desc = volume not found
Что может означать эта ошибка? Может кто уже сталкивался?

Покажи манифест pvc

--- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: csi-cephfs-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 5Gi storageClassName: csi-cephfs-sc

Покажи манифест сторадж класса

и что ты написал в список мониторов ?

смотреть надо в логи CSI драйвера. в контейнерах пода ceph-csi-cephfs-provisioner ceph-csi-cephfs v2.1.2 ceph version 14.2.9 Все работает. возможно ошибся с ключом юзера на доступ к мониторам цефа

Манифест стораж-класса: --- apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: csi-cephfs-sc provisioner: cephfs.csi.ceph.com parameters: clusterID: 37f7a346-fea0-11eb-9746-cf3e4cabb1a1 fsName: cephfs pool: kube csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfs reclaimPolicy: Delete allowVolumeExpansion: true mountOptions: - debug

Манифест конфиг-мапы, подключенной к даймонсету csi-cephfsplugin и деплойменту csi-cephfsplugin-provisioner: --- apiVersion: v1 kind: ConfigMap data: config.json: |- [ { "clusterID": "37f7a346-fea0-11eb-9746-cf3e4cabb1a1", "monitors": [ "172.24.216.51:6789", "172.24.216.52:6789", "172.24.216.53:6789" ] } ] metadata: name: ceph-csi-config

К мониторам сефа цепляюсь из-под client.admin

Аэм. зачем ты в стораджклассе для cephfs указал pool ? fsName: cephfs pool: kube

pool: kube - это же пул, где RBD диски у тебя лежат ?

да, это одна из вариаций конфига. изначально пул не указывал - ошибка была та же

а ты руками то можещь cephfs смонтировать ?

Спасибо за направление для ресёча. В итоге понял, что изначально не совсем верно понял, как работает csi-provisioner. Разобрался, и в итоге, pvc с cephfs успешно создал.