Не отпускает одна проблемка… на одном из мастеров Куберкластера было

Question

Не отпускает одна проблемка… на одном из мастеров Куберкластера было

случайно смещено системное время на 1-2 года вперёд. Вернул обратно. Но на этом мастере kube controller manager и scheduler упали и не поднимаются, ссылаясь на то, что время сейчас май 2023 года, а серты до марта 2023. Используется containerd. Но сейчас в системе верное время и не могу понять откуда он берет время из будущего. ОС ребутал уже целиком. Мысли иссякли. Может кто сталкивался? Или глубже шарите?

#devops #kubernetes #programming #russian

0

06.05.2022

12 ответов

18 просмотров

Nikolay Didenko Автор вопроса

Yevgeniy Saldayev
kubeadm + containerd?

Да

0

06.05.2022

Yevgeniy Saldayev

Nikolay Didenko
Да

Потуши кублет, удали поды руками, а не через апи, прям crictl rmp, запусти кублет

0

06.05.2022

Yevgeniy Saldayev

Yevgeniy Saldayev
Потуши кублет, удали поды руками, а не через апи, ...

Поды шедулера и контроллерменеджера

0

06.05.2022

Nikolay Didenko Автор вопроса

Yevgeniy Saldayev
Потуши кублет, удали поды руками, а не через апи, ...

А разве ребут системы это не делал?

0

06.05.2022

Ilya Pavlov

Может проще добавить новый мастер и потом удалить кривой? Если это ВМ

0

06.05.2022

Nikolay Didenko Автор вопроса

Ilya Pavlov
Может проще добавить новый мастер и потом удалить ...

На крайняк так и сделаю. Но пока есть возможность по-траблшутить

0

06.05.2022

Nikolay Didenko Автор вопроса

Yevgeniy Saldayev
Потуши кублет, удали поды руками, а не через апи, ...

Спасибо! Это решило проблему. Он еще оказывается и старые поды хранит (видимо одну версию до текущей) 2ba7a6d53e67c 5 hours ago Ready kube-scheduler-mm-prod-k8s-m01 kube-system 2 (default) 62f8e87ce0a61 5 hours ago Ready kube-controller-manager-mm-prod-k8s-m01 kube-system 2 (default) 1f842afe6f8c2 5 hours ago Ready kube-apiserver-mm-prod-k8s-m01 kube-system 2 (default) 9c8f804384f99 5 hours ago NotReady kube-apiserver-mm-prod-k8s-m01 kube-system 1 (default) 0945b8397308c 8 weeks ago NotReady kube-controller-manager-mm-prod-k8s-m01 kube-system 0 (default) 5f1d76513d898 8 weeks ago NotReady kube-scheduler-mm-prod-k8s-m01 kube-system 0 (default) Но с временем всё равно странность какая-то. Почему и как сохранилось старое время… не ясно.

0

06.05.2022

Sn♾p

Nikolay Didenko
Спасибо! Это решило проблему. Он еще оказывается и...

потому, что кластер стейт хранится в етцд. Я не уверен, что время там есть, но почему бы и нет

0

06.05.2022

Yevgeniy Saldayev

Nikolay Didenko
Спасибо! Это решило проблему. Он еще оказывается и...

Я подозреваю, что у контейнера свой uts namespace, и время синкается с хостом только при создании контейнера. А раз мы выяснили, что containerd переподымает старый контейнер, то и время выставлено в нем то, что было при создании

0

06.05.2022

Sn♾p

Yevgeniy Saldayev
Я подозреваю, что у контейнера свой uts namespace...

в uts хостнейм только и домен ) времени там вроде нет

0

06.05.2022

Yevgeniy Saldayev

Sn♾p
в uts хостнейм только и домен ) времени там вроде ...

uts вроде как unix time share, но могу ошибаться, да, что время именно в нем. Но неймспейс для времени точно существует, но гуглить лень

0

06.05.2022