Кто мне может подсказать как правильно дрейнить ноды с кластера?

Question

Кто мне может подсказать как правильно дрейнить ноды с кластера?

Вроде все делается по доке куба по graceful shutdown
Есть условный кластер который провижнит aws-ec2 ноды через autoscaler. Простаивающие ноды нужно удалять. Для этого существует CloudControllerManager. Он должен удалить ноду из кластера, после того как она допустим выключится или удалится из aws.
После введения ноды обратно через kubeadm join появляются проблемы вида:
Warning FailedCreatePodSandBox 7s (x4 over 34s) kubelet, tw02 (combined from similar events): Failed to create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "9e90d1f770448d82f390939ec560f1668b520f2bb24b82d7a0437ac1e0e3e411" network for pod "updatedevdbv01updateham-e35fd36d9b1c440289cee988f8ff1121": networkPlugin cni failed to set up pod "updatedevdbv01updateham-e35fd36d9b1c440289cee988f8ff1121_airflow" network: failed to set bridge addr: "cni0" already has an IP address different from 10.244.117.1/24
Я правильно понимаю что "graceful delete" в данном случае должен быть по схеме:
- на ноду ничего не падает
- делается drain node(удалить поды с тачки и если дизрапшен стоит, перекинуть на соседа)
- нода уходит в статус unschedulable
- нода удаляется
- CloudControllerManager видит что нода недоступна физически и удаляет ее из кластера

Такая схема правильная?

Кажется что CCM тупо удаляет ноду, а потом пытается после ре-джойна шедулить на нее поды с корявыми адресами. Или неправильно думаю?

#devops #kubernetes #programming #russian

0

23.06.2020

2 ответов

18 просмотров

Vadim Rutkovsky

схема правильная, но ты потом ноду не трогаешь и не ресетишь? Тогда если ввести её обратно на cni0 у неё будет неправильные адреса, о чем кубелет тебе и сообщает

0

23.06.2020

Denis Banschikov · Accepted Answer

У меня тупой кластер по типу bare-metal есть. Я если хочу ноду вывести из кластера делаю: kubectl cordon <node_name>, что делает ее не доступной для шедулинга новых подов. kubectl drain <node_name>, выселяет все поды с этой ноды и шудулит их на доступных нодах. kubectl delete <node_name>, удаляет ноду из кластера

172 похожих чатов

Кто мне может подсказать как правильно дрейнить ноды с кластера?

2 ответов

Похожие вопросы