Господа, вопрос. Вырубаю etcd, перезапускаю кублет, в сервисах получаю 503

Service Unavailable. Сопсно какого лешего? Кэш в coredns должен жить какое то время, поды не передвигались, соответственно все ipvs правила и туннели калики на месте

В ттл записей. Если мне память не изменяет там 5 секунд. Так что Кеша нет

посмотрю, но в любом случае странно ж, не?

В CoreDNS запущен Informer, из которого регулярно обновляются записи даже, если APIserver лежит. Тут что-то другое.

тогда еще более не понятно. В довесок у меня есть nodelocaldns

Ну начнем с того что непонятно вообще что ты сделал. Зачем кубелет то перезапукал? В каких сервисах ты смог 503 получить? Это ж нат и иптейблес 503 ты от ингресс контроллер мог получить

как зачем, импровизирую баг из ишью , где при отвале коннекта кублет долбится в мертвый сокет. лол вроде оно issues/87615

А етсд тогда зачем вырубаешь???

ну я образно вырубаю, дропаю пакеты, шоп отвалилась апишка, и по цепочке понеслась

Мне кажется вы или не умеете выражать свои мысли, или не понимаете того, что творите.

Начни с отключения его. Есть "нюансы" в цепочке из двух coredns, которую мы прокушали определённое время назад.

да мне походу нужно всю цепочку запроса просматривать и искать где затык. У меня выше ингресса хапрокси, возможно он на хелсчеки мне 503 сыпет.

endpoints сервиса хранятся в etcd. Если он недоступен, то api-server не отвечает и вероятно ingress controller считает что там пустой endpoints. Что за ingress controller, какой версии? Печалька если так происходит

nginx ingress v0.34.1 , тот шо от кубосообщества

то есть если выключить etcd. При запросе в любое приложение ingress controller выдает 503? Удивительно. Надо будет чекнуть. Нехорошо если так

д, вырубаю etcd, ребутаю kubelet, понеслись 503

какой еще kubelet? Так etcd или kubelet?

оба двое

kubelet на какой ноде вырубаешь?

kubelet не вырубаю, а ребутаю, на всех поочередно. Правила ipvs проверял, все на месте, туннели тож на месте

1. Вурыбили etcd 2. Пошли ресторвать кубелеты 3. ингресс начал отдвавать 503 такой флоу?

д

после рестарта кубелета, контейнеры на хосте не рестартуют случаем?

контейнеры приложения то?

да любые, что просто на хосте с контейнами происходит после рестарта кубелета

ну походу вы попали пальцем куда надо, рестартуются конечно, судя по времени из State.Started

дак это логично, у вас все будет работать, если отвалится еткд, но воркер ноды продолжат в штатном режиме работать, вы потеряете управление, но не работоспособность. А дальше вы просто убиваете воркер ноды, тк они стейтлес и весь стейт в недоступном еткд

понял, усек

Что в логах kubelet в этот момент? Есть что-то про eviction? Звучит очень знакомо.

про выселенцов ничего, только куча подобного Error: "MountVolume.SetUp failed for volume \"config-nginx-nginx-site-conf\" . Монтируется из конфигмапов если шо

рестарт kubelet по идее не должен рестартовать контейнеры. А etcd так и не запущен, поэтому ingress controller не может получить endpoints сервиса, а значит оставит старые айпишники подов в апстримах и 503 быть не должно . Чет странно это всё

Подними уровень логов и давай ещё. Какая-то ересь где-то зарыта.