промитеусе up == 0), промитеусе в таргетах пишет Get "http://172.31.16.23:9100/metrics": context deadline exceeded
1) Проверил все сети на уровне AWS (там окей)
2) Проверил порты
3) Попробовал на экспортерах hostNetwork в false
4) Сами ноды доступны и все с ними окей, если поднять в том же немспейсе контейнер то пинги идут, через wget /metrics стягивает тоже
Куда еще покапать ?
проблема в сети
Разобрался, но так сказать "не до конца", увеличил Scrape Time Out до 12 сек вместо дефолтных 10 сек и все заработало. Далее изучу в чем причина, но возможно кому то пригодится: Вот этоq строке https://github.com/prometheus-community/helm-charts/blob/main/charts/kube-prometheus-stack/values.yaml#L1906 изменить значение на: scrapeTimeout: "12s"
Вообще рекомендую посмотреть сколько у тебя активных time-series скрейпятся с каждого экземпляра node-exporter. Судя по time-out выглядит как будто 20k+ на один экземпляр. Такое не часто увидишь, если говорить в контексте node-exporter
Обсуждают сегодня