Привет! Подскажите, промитеус оператор, 3 ноды из 11 отвалились(node_exporter, в

Question

Привет! Подскажите, промитеус оператор, 3 ноды из 11 отвалились(node_exporter, в

промитеусе up == 0), промитеусе в таргетах пишет Get "http://172.31.16.23:9100/metrics": context deadline exceeded

1) Проверил все сети на уровне AWS (там окей)
2) Проверил порты
3) Попробовал на экспортерах hostNetwork в false
4) Сами ноды доступны и все с ними окей, если поднять в том же немспейсе контейнер то пинги идут, через wget /metrics стягивает тоже

Куда еще покапать ?

#devops #kubernetes #programming #russian

0

10.07.2021

3 ответов

21 просмотр

Vitaliy Orlov Автор вопроса

Разобрался, но так сказать "не до конца", увеличил Scrape Time Out до 12 сек вместо дефолтных 10 сек и все заработало. Далее изучу в чем причина, но возможно кому то пригодится: Вот этоq строке https://github.com/prometheus-community/helm-charts/blob/main/charts/kube-prometheus-stack/values.yaml#L1906 изменить значение на: scrapeTimeout: "12s"

0

10.07.2021

Denis Banschikov

Vitaliy Orlov
Разобрался, но так сказать "не до конца", увеличил...

Вообще рекомендую посмотреть сколько у тебя активных time-series скрейпятся с каждого экземпляра node-exporter. Судя по time-out выглядит как будто 20k+ на один экземпляр. Такое не часто увидишь, если говорить в контексте node-exporter

0

11.07.2021

George Gaál · Accepted Answer

George Gaál

проблема в сети

0

10.07.2021

172 похожих чатов

Привет! Подскажите, промитеус оператор, 3 ноды из 11 отвалились(node_exporter, в

3 ответов

Похожие вопросы