Есть проблема с доступом подов к подам конкретной ноды. Пинги

Question

Есть проблема с доступом подов к подам конкретной ноды. Пинги

подов внутри ноды проходят нормально, что у одной, что у другой, но при попытке пингануть поды на ноде k8s-worker c ноды k8s-worker1 пинги падают по таймауту. Если на k8s-worker запускается ingress-nginx-controller, то ингресы не создаются по тому же таймауту

Error from server (InternalError): error when creating "ingress.yaml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": failed to call webhook: Post "https://ingress-nginx-controller-admission.default.svc:443/networking/v1/ingresses?timeout=10s": context deadline exceeded
Если запустить контроллер ингреса на ноде k8s-worker1, то ингрес нормально создается и все работает штатно, если в ингресе прописаны роуты к подам находящиеся на ноде k8s-worker, то все виснет на таймауте.

kubectl get deployments,daemonsets,pods,svc -A -o wide - https://pastebin.com/G53i5WMn

в логах подов calico и proxy нет ошибок и схожи друг с другом. Нода k8s-worker находится за роутером, нода k8s-worker в облаке

в какую сторону нужно копать?

#devops #kubernetes #programming #russian

0

17.11.2023

13 ответов

41 просмотр

Dmitry Sergeev 🇺🇦

Стикер

0

17.11.2023

Ilya Boldyrev Автор вопроса

т.е. включить VXLAN?

0

17.11.2023

Dmitry Sergeev 🇺🇦

Ilya Boldyrev
т.е. включить VXLAN?

как вариант, там вроде несколько опций есть, например ещё была опция для настройки IPIP туннелей

0

17.11.2023

Ilya Boldyrev Автор вопроса

Dmitry Sergeev 🇺🇦
как вариант, там вроде несколько опций есть, напри...

добавил "ipipMode": "Always", "natOutgoing": true по всей видимости что то с сетью конкртеной ноды, т.к. ipip не помог

0

17.11.2023

George Gaál

У тебя запросто на файрволле могут блочить vxlan или ip ip

0

18.11.2023

Serhii Sergey

Ставьте калико (внезапно) в режиме вайргард. Все будет работать + шифрование

0

18.11.2023

Ilya Boldyrev Автор вопроса

Serhii Sergey
Ставьте калико (внезапно) в режиме вайргард. Все б...

оно ? https://docs.tigera.io/calico-cloud/compliance/encrypt-cluster-pod-traffic#enable-wireguard-for-a-cluster

0

18.11.2023

Dmitry Sergeev 🇺🇦

Serhii Sergey
Ставьте калико (внезапно) в режиме вайргард. Все б...

да не факт, он там говорил про роутер, мб там ваще nat, а calico пытается туннели построить с локальным адресом ноды

0

18.11.2023

Ilya Boldyrev Автор вопроса

так и было, пришлось городить такую страсть [Match] Name=enp2s0 [Network] Address=<externalIP>/24 Gateway=192.168.1.1 DNS=8.8.8.8 DNS=8.8.4.4 DNS=77.88.8.88 DNS=77.88.8.2 [Address] Address=192.168.1.117/24 но вариант с wireguard помог, все завелось

0

18.11.2023

Dmitry Sergeev 🇺🇦

Ilya Boldyrev
так и было, пришлось городить такую страсть [Matc...

ну с этим можно и без wg, я полагаю wg шифрование дает, а так архитектура таже самая, туннели поверх L3

0

18.11.2023

Serhii Sergey

Dmitry Sergeev 🇺🇦
ну с этим можно и без wg, я полагаю wg шифрование...

Поверх L4 Вроде там поверх вайргард туннеля все бежит. Но это не точно)

0

18.11.2023

Dmitry Sergeev 🇺🇦

Serhii Sergey
Поверх L4 Вроде там поверх вайргард туннеля все бе...

я про то что будет ли calico строить wg туннели, ipip туннели или vxlan тянуть не играет роли, если не решить проблему, проблема будет той же самой. Надо сказать calico как достучаться до той ноды, которая за nat'ом роутера

0

18.11.2023

George Gaál · Accepted Answer

George Gaál

У тебя сеть сломана, скорее всего поможет совет @identw

0

17.11.2023

172 похожих чатов

Есть проблема с доступом подов к подам конкретной ноды. Пинги

13 ответов

Похожие вопросы