Гайз, пытаюсь найти причину дисконнекта между сервисом и ребитом. Сервис

- AWS NLB - Istio ingress - RMQ 3.12.2 (аналогично в 3.12.1). По какой-то причине, раз в 10 минут (иногда через минуту, иногда через 8-9 и т.п.) происходит такое:

2023-07-23 22:17:40.767410+00:00 [error] <0.3329.0> closing AMQP connection <0.3329.0> (10.131.2.7:35368 -> 10.129.2.25:5672 - node2-RemotePhysiologicMonitoring/Consumer):
2023-07-23 22:17:40.767410+00:00 [error] <0.3329.0> missed heartbeats from client, timeout: 10s

и коннекшн закрывается. Причём я в wireshark смотрю - сервис прилежно шлёт heartbeat'ы, сервер отвечает. Такое впечатление, что коннекшен почему-то закрывает RMQ. Со стороны istio тоже ничего подозрительного - штатно открывает/закрывает TCP...

Может есть какие идеи? Как найти причину?

9 ответов

31 просмотр

Вы только со стороны клиента трафик смотрите? Возможно хербиты у вас только до балансера ходят а дальше грусть

Andrew- Автор вопроса
Aleksey Barabanov
Вы только со стороны клиента трафик смотрите? Возм...

валидно, но остальной трафик ходит без проблем в это же время - сообщения могу паблишить, консьюмер их получает... хартбиты какие-то особенные в этом смысле?

Andrew
валидно, но остальной трафик ходит без проблем в э...

Погодите, если паблишите/консьюмите - что за соединение разваливается?

Andrew- Автор вопроса
Aleksey Barabanov
Погодите, если паблишите/консьюмите - что за соеди...

Connection которое. Его .net либа поднимает сразу же после разрыва назад.

Andrew
Connection которое. Его .net либа поднимает сразу ...

Вы в одном соединении и паблишите и консьюмите?

Andrew- Автор вопроса
Andrew
Да (сделал тестовую прогу для этого)

Так не надо. Отдельное соединение, канал на каждый процесс паблишинга/консьюминга нужно

Andrew- Автор вопроса
Aleksey Barabanov
Так не надо. Отдельное соединение, канал на каждый...

Пробовал только паблишить - эффект тот же... Та да, я тоже думаю, что дело в промежуточных балансировщиках, но пока не могу понять, где и что же не так. У меня там envoy (не хапрокся), попробую keepalive покрутить ему...

Andrew- Автор вопроса

Fixed. Проблема была на стороне istio, а именно того, как прописаны ингресы - неправильный конфиг - неправильный селектор у сервисов, трафик не туда ходил.

Похожие вопросы

Обсуждают сегодня

Всем привет. Понимаю, что, наверное, сто раз поднимали эту тему, но по ключевым словам не смог найти. Как передать в values.yaml зависимого хелм-чарта теги образов, собираемых...
Vitalik Petrov
4
Всем привет. Werf v2.10.5 При удалении релиза вместе с неймспейсом (werf dismiss --namespace namespace_name) Сыпятся ошибки ┌ Waiting for resources elimination: namespaces/rel...
Vitalik Petrov
1
@aigrychev, @ilya_lesikov добрый день! а поддерживает ли werf helm xxxx или werf bundle xxxx работу с сабчартами через http-прокси? (сработает ли использование HTTP_PROXY/HTTP...
Сергей Голод
4
Добрый день! Удалил все файлы с переменными из проекта, получил Error: release deploy: process resources: error validating adoptable resources: adoption validation failed: re...
Evgheni Mad
2
Привет! Вопрос про werf helm Приложение деплоится через werf helm upgrade --atomic Иногда(все условия для воспроизведения до конца непонятны, но есть версия, что это происходи...
𝓐𝓵͢͢͢𝓮𝔁 C
2
Всем привет. Сегодня добавили в приложение дополнительный образ nginx, в который докидывается системная статика прям в образ. При деплое бандлами деплоилось 200+ джоб(клиентов...
Владимир Муковоз
6
Добрый день, после перехода с версии 1.2 на 2.10 werf cleanup начал удалять использующиеся теги, и до и после обновления использовались дефолтные политики keepPolicies Подскаж...
Дмитрий
29
Блин а мне как поумнеть ?
Toxin
191
Друзья, добрый день. Прошу подсказать с базовым вопросом по использованию CI переменных gitlab в werf.yaml. Хочу в beforeInstall использовать env переменную с токеном. Мне нуж...
Anton Zol
10
Вопросик не совсем werf. Но вдруг мы подскажите воркэраунд или ещё что-нибудь. Могу ли я как-нибудь в моменте деплоя внутри heml рендера получить хэшсумму файла шаблона (./tem...
Alex Подрябинкин
11
Карта сайта