проме, у нас чот тут пром гавна дает, как вообще подойти к проблеме? вот у нас 160к разных метрик, нельзяж руками их перебрать. мы посмотрели топ 50. там нича особо нет лишнего. сплошные метрики памяти\цпу\сторейджа\нетворка и тд
непонятно что именно у вас с промо не так =) много CPU ? много памяти? много I\O полосы или места жрет?
та эт не принципиально, что ботлнек. вопрос - как снизить количество метрик с 160к (из которых не то, чтобы много используется) до каких-нибудь вменяемых 10к
ну так у вас pull модель кол-во метрик зависит напрямую от кол-ва exporters и кол-ва metrics enpoints для scraping можно конечно дропать при scraping по regexp но это надо понимать что именно вы дропаете и может вам какие то метрики нужны у меня вот исходя из этих соображений стоит metric_relabel_configs: - source_labels: [name] regex: 'process_virtual.*|process_max_fds|process_start_time.*|http_.*|go_gc.*' action: drop но вот если понадобится "вдруг". то я сам себе злобные буратино
нет, меня смущает, что прометей зажирает 15гб оперативы на рестарте и падает по оом :)
в вм валите их, пром не про лонгтерм
переходите на VictoriaMetrics
ну смотри, у тебя много метрик, все метрики в топе тебе нужны. Если ты дропнешь какие то мелкие серии , ну сэкономишь 500 MB Тут надо либо переосознавать необходимость метрик, изучать лейблы (может от туда что то дропнуть надо) либо расширять прометеус / уменьшать ретеншен
ВМ так же оомнется только не на старте а на запросе данных от туда
а, можа можно заставить его чаще в бд сливать данные? он падает когда эти wal'ы реплеит
Валы это не скомпакченные данные
--storage.tsdb.min-block-duration=--storage.tsdb.max-block-duration= вот про это почитай
крч, вот это регулирует это, правильно? спасибо
Да, если мне не изменяет память.
дак метрики то СНОВА набегут =) потому что из /metrics никто их не уберет
я думаю там МАЛО vmselect запросов будет
Это про решение проблемы реплея вала на рестарте
Я честно пока пробовал только single server версию виктории, залил туда данные за 2 недели с прома с 1500 таргетов, через 2 недели она распухла до 6 GB , когда я попробовал че то от туда спросить за 2 недели ( метрика была довольно кардинальная) - она начала пиковать до 10 GB и ООМится
Обсуждают сегодня