Никто не сталкивался с задачей мониторинга использования GPU pod, запущенного

Question

Никто не сталкивался с задачей мониторинга использования GPU pod, запущенного

в Kubernetes?

Нужно собрать хотя бы использование памяти и загрузку GPU. Желательно инструмент на 4уровне самого kubernetes, чтобы можно было мониторить любой под. pod работают с видеокартами NVIDIA и соотв. плагинами для доступа к GPU.

#devops #kubernetes #programming #russian

0

24.05.2022

5 ответов

21 просмотр

Александр Крючков Автор вопроса

Dmitry Sergeev 🇺🇦
пробовали - https://github.com/NVIDIA/dcgm-exporte...

У нас стоит, но container и pod поля пустые выдаются.

0

24.05.2022

Dmitry Sergeev 🇺🇦

Александр Крючков
У нас стоит, но container и pod поля пустые выдают...

а вы доступ к сокету kubelet ему дали? И к папке pod-resources? Судя по коду https://github.com/NVIDIA/dcgm-exporter/blob/30a188b53f084d1f9ff4fedc913eeaf5107e8be2/pkg/dcgmexporter/kubernetes.go#L34 он должен от туда их доставать (имею в виду имена подов и контейнеров)

0

24.05.2022

Александр Крючков Автор вопроса

Dmitry Sergeev 🇺🇦
а вы доступ к сокету kubelet ему дали? И к папке p...

Возможно что нет. Тогда посмотрю более подробно. Спасибо за наводку.

0

24.05.2022

Dmitry Sergeev 🇺🇦

Александр Крючков
Возможно что нет. Тогда посмотрю более подробно. С...