Гайз, пытаюсь найти причину дисконнекта между сервисом и ребитом. Сервис

- AWS NLB - Istio ingress - RMQ 3.12.2 (аналогично в 3.12.1). По какой-то причине, раз в 10 минут (иногда через минуту, иногда через 8-9 и т.п.) происходит такое:

2023-07-23 22:17:40.767410+00:00 [error] <0.3329.0> closing AMQP connection <0.3329.0> (10.131.2.7:35368 -> 10.129.2.25:5672 - node2-RemotePhysiologicMonitoring/Consumer):
2023-07-23 22:17:40.767410+00:00 [error] <0.3329.0> missed heartbeats from client, timeout: 10s

и коннекшн закрывается. Причём я в wireshark смотрю - сервис прилежно шлёт heartbeat'ы, сервер отвечает. Такое впечатление, что коннекшен почему-то закрывает RMQ. Со стороны istio тоже ничего подозрительного - штатно открывает/закрывает TCP...

Может есть какие идеи? Как найти причину?

9 ответов

29 просмотров

Вы только со стороны клиента трафик смотрите? Возможно хербиты у вас только до балансера ходят а дальше грусть

Andrew- Автор вопроса
Aleksey Barabanov
Вы только со стороны клиента трафик смотрите? Возм...

валидно, но остальной трафик ходит без проблем в это же время - сообщения могу паблишить, консьюмер их получает... хартбиты какие-то особенные в этом смысле?

Andrew
валидно, но остальной трафик ходит без проблем в э...

Погодите, если паблишите/консьюмите - что за соединение разваливается?

Andrew- Автор вопроса
Aleksey Barabanov
Погодите, если паблишите/консьюмите - что за соеди...

Connection которое. Его .net либа поднимает сразу же после разрыва назад.

Andrew
Connection которое. Его .net либа поднимает сразу ...

Вы в одном соединении и паблишите и консьюмите?

Andrew- Автор вопроса
Andrew
Да (сделал тестовую прогу для этого)

Так не надо. Отдельное соединение, канал на каждый процесс паблишинга/консьюминга нужно

Andrew- Автор вопроса
Aleksey Barabanov
Так не надо. Отдельное соединение, канал на каждый...

Пробовал только паблишить - эффект тот же... Та да, я тоже думаю, что дело в промежуточных балансировщиках, но пока не могу понять, где и что же не так. У меня там envoy (не хапрокся), попробую keepalive покрутить ему...

Andrew- Автор вопроса

Fixed. Проблема была на стороне istio, а именно того, как прописаны ингресы - неправильный конфиг - неправильный селектор у сервисов, трафик не туда ходил.

Похожие вопросы

Обсуждают сегодня

werf cleanup как-то старается не удалять промежуточные имаджи (ранее известные как артефакты)? Уже несколько раз из cache-repo улетал наш базовый node имадж. Что выглядит лог...
Vyacheslav
2
Здрасьти! Делаю Buildah+Docker-multistage. В первом имадже делаю COPY кода. Из них генерю файлы: 31229b03ef2ed26c5e02d0e8320f8a04 ./package.json a0b92a158d0bed9570350af0ed3e...
Vyacheslav
4
Всем привет. Werf v2.10.5 При удалении релиза вместе с неймспейсом (werf dismiss --namespace namespace_name) Сыпятся ошибки ┌ Waiting for resources elimination: namespaces/rel...
Vitalik Petrov
1
Вопросик не совсем werf. Но вдруг мы подскажите воркэраунд или ещё что-нибудь. Могу ли я как-нибудь в моменте деплоя внутри heml рендера получить хэшсумму файла шаблона (./tem...
Alex Подрябинкин
11
Всем привет. Сегодня добавили в приложение дополнительный образ nginx, в который докидывается системная статика прям в образ. При деплое бандлами деплоилось 200+ джоб(клиентов...
Владимир Муковоз
6
Друзья, добрый день. Прошу подсказать с базовым вопросом по использованию CI переменных gitlab в werf.yaml. Хочу в beforeInstall использовать env переменную с токеном. Мне нуж...
Anton Zol
10
В английской версии документации к докер инструкциям я увидел этот пункт: > Tip: you can also export environment variables right to the user stage instructions. В русской ...
Alex
3
всем привет) подскажите, судя по поиску, пару лет назад возникал вопрос насчет преобразования секретов при шифровании к строковому типу. Что-то за это время менялось? Сейчас ...
Denis Yudin
9
Добрый день, после перехода с версии 1.2 на 2.10 werf cleanup начал удалять использующиеся теги, и до и после обновления использовались дефолтные политики keepPolicies Подскаж...
Дмитрий
29
Вопрос. Имеем большие репозитории и медленные скорости. Из-за чего очень долго длятся пайплайны. Azure DevOps, PR пайплан, выкачиваем только эфимерный(виртуальный) комит, и з...
Alex Подрябинкин
11
Карта сайта