После ротации сертификатов, на одном из мастеров, командой /usr/local/bin/kubeadm certs

Question

После ротации сертификатов, на одном из мастеров, командой /usr/local/bin/kubeadm certs

renew all перестал запускаться kubelet.service.
В логе ошибки:
kubelet[13777]: E1018 10:32:34.626528 13777 node_container_manager_linux.go:57] "Failed to create cgroup" err="Unit kubepods.slice already exists." cgroupName=[kubepods]

kubelet[13777]: E1018 10:32:34.626549 13777 kubelet.go:1384] "Failed to start ContainerManager" err="Unit kubepods.slice already exists."

systemd[1]: kubelet.service: Main process exited, code=exited, status=1/FAILURE

systemd[1]: kubelet.service: Failed with result 'exit-code'.

Никто с таким поведением не сталкивался?

На остальных двух мастерах сертификаты обновились без проблем и всё работает.

Kubernetes v1.21.4

#devops #kubernetes #programming #russian

0

18.10.2023

14 ответов

28 просмотров

Фредди

Посмотри ещё в journalctl -xeu kubelet.service есть ещё какая информация?

0

18.10.2023

Vadim Viktorovich Автор вопроса

Фредди
Посмотри ещё в journalctl -xeu kubelet.service е...

Это ошибки которые есть при загрузке.

0

18.10.2023

George Gaál

Апи сервер не подымается похоже

0

18.10.2023

George Gaál

George Gaál
Апи сервер не подымается похоже

Но это скорее следствие, а не причина проблем

0

18.10.2023

Vadim Viktorovich Автор вопроса

George Gaál
Апи сервер не подымается похоже

RHEL 8.4, кубспрей, контейнерди не обновляли. Только ротация сертификатов.

0

18.10.2023

Alexander

Vadim Viktorovich
RHEL 8.4, кубспрей, контейнерди не обновляли. То...

Логи куб-апи посмотри

0

18.10.2023

George Gaál

Vadim Viktorovich
RHEL 8.4, кубспрей, контейнерди не обновляли. То...

Кубеспрей выкинь. Версии пакетов на узлах проверь все равно

0

18.10.2023

Fastumkruk

George Gaál
Кубеспрей выкинь. Версии пакетов на узлах проверь ...

Что если не куб спрей?

0

18.10.2023

Alexander

Fastumkruk
Что если не куб спрей?

kubeadm или самому напиши свой ansible

0

18.10.2023

Anton Riab

Fastumkruk
Что если не куб спрей?

Стикер

0

18.10.2023

Vadim Viktorovich Автор вопроса

Если кому интересно. После сравнения содержимого /etc/systemd/system/ на рабочих нодах оказалось, что на проблемной ноде, по этому пути, есть юнит kubepods.slice, после удаления которого кублет запустился и нода заработала. Я так понимаю, его там быть не должно. Откуда он там взялся вообще не понятно. Лежит он там с 4 августа. Судя по логам 4 августа виртуалка падала, и видать, из-за некорректного завершения работы, этот файл там образовался. Другого у меня предположения нет. Короче, хрень какая-то произошла. Команда /usr/local/bin/kubeadm certs check-expiration показывает теперь нормальную картину.

0

20.10.2023

Sn♾p

Vadim Viktorovich
Если кому интересно. После сравнения содержимого ...

а флаги используете —*reserved?

0

20.10.2023

Vadim Viktorovich Автор вопроса

Sn♾p
а флаги используете —*reserved?

Не знаю, где посмотреть?

0

20.10.2023