На нодах случается disk pressure. Как посмотрить на что место

1) Заходим по ssh на проблемную ноду, cмотрим кто сожрал место sudo ncdu -x /var/lib/docker/volumes Получаем volume-хеш, типа такого: 85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2 2) Итерируем там все контейнеры по их ID, делая потом им inspect (предварительно подставив volume-хеш): for i in $(sudo docker ps -q) ; do sudo docker inspect $i | grep -A 100 -B 10 85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2a48f65 | grep io.kubernetes.pod.name ; done 3) Получаем вывод: "io.kubernetes.pod.name": "zabbix-agent-77512", "io.kubernetes.pod.namespace": "monitoring", 4) Утоняем еще раз точно ли grep выбрал то, что нужно: sudo docker ps | grep zabbix-agent-77512 Получаем: 9d1f96336604 docker.hub/zabbix/zabbix-agent Контейнер с entrypoiunt /pause - игнорируем. sudo docker inspect 9d1f96336604 Получаем: 85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2 "Name": "85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2a48f65", "Source": "/var/lib/docker/volumes/85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2a48f65/_data" Сверяем хеш. Если все ок то pod найден верно. 5) Выходим с ноды. Идем в кубер и прибиваем его. 6) Если контейнер в шаге 2 не находится, то выкручиваем grep -A & -B на больший диапазон строк. Вплоть до 500

0

27.12.2019

Solyar · Accepted Answer

Solyar

Ну это не совсем куберовский вопрос. du -sh /* и вперед

0

27.12.2019

172 похожих чатов

На нодах случается disk pressure. Как посмотрить на что место

4 ответов

Похожие вопросы