Интересная проблема: Есть кластер поднятый ранчером. На двух воркерах - всё

Question

Интересная проблема: Есть кластер поднятый ранчером. На двух воркерах - всё

ок
Поднимаю третий воркер - на нём ни в какую не работает днс, т.е. из подов не резолвится ни внешка, ни ресурсы кластера
Если редеплойнуть coredns - заводится на двух любых нодах, одна (не обязательно вновь созданная) остаётся за бортом, и на нерабочей ноде нет пода корднс
Попробовал сменить днс-автоскейлер на этот
https://github.com/kubernetes/kubernetes/blob/master/cluster/addons/dns-horizontal-autoscaler/dns-horizontal-autoscaler.yaml
Результат: корднс скейлится, на каждый ноде есть его под, но днс работает либо на двух рандомных нодах, либо на одной, теперь рабочие ноды могут стать нерабочими даже без перезапуска корднс
В логах: автоскейлера, корднс, их подов, сервиса корднс, всё чисто, никаких ошибок/варнингов
Пробовал разные версии корднс, другие ос на нодах, открыл все порты, отключил все фаерволы / селинуксы и тд

Может кто сталкивался или есть идеи, как так?

#devops #kubernetes #programming #russian

0

02.02.2021

14 ответов

24 просмотра

Wilderone Автор вопроса

George Gaál
Сеть какая? Версия? Какой ранчер? Очень много неиз...

ранчер 1.19.6, сеть - flannel, всё в амазоне на ec2

0

02.02.2021

George Gaál

2 воркера - это помимо мастеров ?

0

02.02.2021

Wilderone Автор вопроса

George Gaál
2 воркера - это помимо мастеров ?

да, 3 мастера

0

02.02.2021

George Gaál

Wilderone
да, 3 мастера

А на мастерах все ок, как я понимаю ?

0

02.02.2021

Wilderone Автор вопроса

George Gaál
А на мастерах все ок, как я понимаю ?

ага с ними нет проблем

0

02.02.2021

vitex (Victor)

гмм а зачем core-dns прям на каждой ноде? ну и вот собственно https://kubernetes.io/docs/tasks/administer-cluster/dns-debugging-resolution/

0

02.02.2021

Wilderone Автор вопроса

vitex (Victor)
гмм а зачем core-dns прям на каждой ноде? ну и вот...

это как догадка. Не работает на той, где его нет. По этому ману уже прошелся

0

02.02.2021

vitex (Victor)

Wilderone
это как догадка. Не работает на той, где его нет. ...

core-dns достаточно двух экземпляров а вот если используется nodelocaldns, то да, они на каждой ноде должны быть

0

02.02.2021

vitex (Victor)

Wilderone
это как догадка. Не работает на той, где его нет. ...

ну так и что с диагностикой? nslookup kubernetes.default

0

02.02.2021

Wilderone Автор вопроса

vitex (Victor)
ну так и что с диагностикой? nslookup kubernetes.d...

вот на рабочей ноде: /var/www/public $ nslookup kubernetes.default Server: 10.43.0.10 Address: 10.43.0.10:53 /var/www/public $ cat /etc/resolv.conf nameserver 10.43.0.10 search default.svc.cluster.local svc.cluster.local cluster.local eu-central-1.compute.internal options ndots:5 На нерабочй - таймаут

0

02.02.2021

Aleksey Lazarev

Wilderone
вот на рабочей ноде: /var/www/public $ nslookup ku...

А кроме dns все работает?

0

02.02.2021

Wilderone Автор вопроса

Aleksey Lazarev
А кроме dns все работает?

да, если оставить 2 воркера - всё ок

0

02.02.2021