Мой батя делает вообще адовый мониторинг. Ну такой вот примерно рецепт усреднённый, потому что вариаций масса. Берётся прометей, он ставится не на одну тачку, standaolne — это не про моего батю. Он берёт этот прометей, создаёт Deployment в кубе и начинает его скейлить репликами. Добавляет огромное количество таргетов, Pushgateway для батчей, nodeexporter в DaemonSet, graphite и statsd exporter-ы GRAFANA! для красивых графиков, alertmanager сверху. Всё это скейлится под завязку. Потом скрейпаются метрики и место на дисках заканчивается. Потом батя открывает доку по PromQL и щедро добавляет алертов. При этом алерты летят всем, вообще всем, даже охраннику на нокию. Смотрит на это и приговаривает полушёпотом ух бля. При этом у него в кубе аж три kubelet на ноду, говорит для кворума. Любезно мне иногда предлагает, но я отказываюсь. Надо ли говорить о том, что логи в лейблах метрик летят? Дупликация такая, что пятого ЦОДа уже не хватает.
Чел не осилил пулл. А ведь пулл лучше пуша для мониторинга собственной инфры в локальной сети, т.к. пром всегда знает, когда кто-то падает. Также по конфигу прома оператор всегда может узнать обо всей инфрастуктуре, которую он мониторит. Если конфиг прома хранить в гите, то по истории изменений можно узнать, как менялась инфра со временем. И еще ты всегда уверен, что никто левый не начнет пушить левые метрики в пром
Обсуждают сегодня