172 похожих чатов

Я помню кто-то писал, что дропает очень много метрик в

проме, у нас чот тут пром гавна дает, как вообще подойти к проблеме? вот у нас 160к разных метрик, нельзяж руками их перебрать. мы посмотрели топ 50. там нича особо нет лишнего. сплошные метрики памяти\цпу\сторейджа\нетворка и тд

17 ответов

4 просмотра

непонятно что именно у вас с промо не так =) много CPU ? много памяти? много I\O полосы или места жрет?

4c74356b41- Автор вопроса
Slach [altinity]
непонятно что именно у вас с промо не так =) много...

та эт не принципиально, что ботлнек. вопрос - как снизить количество метрик с 160к (из которых не то, чтобы много используется) до каких-нибудь вменяемых 10к

4c74356b41
та эт не принципиально, что ботлнек. вопрос - как ...

ну так у вас pull модель кол-во метрик зависит напрямую от кол-ва exporters и кол-ва metrics enpoints для scraping можно конечно дропать при scraping по regexp но это надо понимать что именно вы дропаете и может вам какие то метрики нужны у меня вот исходя из этих соображений стоит metric_relabel_configs: - source_labels: [name] regex: 'process_virtual.*|process_max_fds|process_start_time.*|http_.*|go_gc.*' action: drop но вот если понадобится "вдруг". то я сам себе злобные буратино

4c74356b41- Автор вопроса

нет, меня смущает, что прометей зажирает 15гб оперативы на рестарте и падает по оом :)

4c74356b41
нет, меня смущает, что прометей зажирает 15гб опер...

ну смотри, у тебя много метрик, все метрики в топе тебе нужны. Если ты дропнешь какие то мелкие серии , ну сэкономишь 500 MB Тут надо либо переосознавать необходимость метрик, изучать лейблы (может от туда что то дропнуть надо) либо расширять прометеус / уменьшать ретеншен

Sergei Monakhov
в вм валите их, пром не про лонгтерм

ВМ так же оомнется только не на старте а на запросе данных от туда

4c74356b41- Автор вопроса
Артём
ну смотри, у тебя много метрик, все метрики в топе...

а, можа можно заставить его чаще в бд сливать данные? он падает когда эти wal'ы реплеит

4c74356b41
а, можа можно заставить его чаще в бд сливать данн...

--storage.tsdb.min-block-duration=--storage.tsdb.max-block-duration= вот про это почитай

4c74356b41- Автор вопроса
Артём
--storage.tsdb.min-block-duration=--storage.tsdb.m...

крч, вот это регулирует это, правильно? спасибо

Артём
ну смотри, у тебя много метрик, все метрики в топе...

дак метрики то СНОВА набегут =) потому что из /metrics никто их не уберет

Slach [altinity]
дак метрики то СНОВА набегут =) потому что из /met...

Это про решение проблемы реплея вала на рестарте

Slach [altinity]
я думаю там МАЛО vmselect запросов будет

Я честно пока пробовал только single server версию виктории, залил туда данные за 2 недели с прома с 1500 таргетов, через 2 недели она распухла до 6 GB , когда я попробовал че то от туда спросить за 2 недели ( метрика была довольно кардинальная) - она начала пиковать до 10 GB и ООМится

Похожие вопросы

Обсуждают сегодня

читать файл максимально быстро? странный вопрос))
zamtmn
52
всем привет! углубившись в плюсы и начав изучать реверсинг понял, что без асм'а никуда со своими высокоабстрактными представлениями начал изучать механизмы асма, и не совсем п...
9
буквально один оставшийся вопрос при выполнении строчки mov eax, 5 операнд "5" будет присутствовать где-либо в памяти (любой), кроме как в памяти блока .code? подвопрос: как...
12
Всем ку. Подскажите, если задекларировал массив так: int arr[10] = {1, 2, 3, 4}, то в arr[4] будет мусор или нуль?
Sasha K
14
я не понимаю mov [r11+8],rcx и прочие. мы записываем значение из rcx, куда?
Bor
15
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
у меня такой вопрос про память в x86 возник, может кто пояснить?.. у процессора есть (как минимум) 3 типа адресов (названия "п1", "п2", "п3" --- мои, чтобы проще было дальше)...
Toideng
5
А какие расширения активно используются в промышленности? Именно идейные, по типу гадт, а не всякие оверлоадедстрингс
Степан
11
у процессора есть (как минимум) 3 типа адресов (названия "п1", "п2", "п3" --- мои, чтобы проще было дальше): - "п1" --- виртуальный адрес, то есть тот, который ресолвится в "п...
Toideng
3
Guys Who’s kurdish on this group?
Hiwa Amiri
11
Карта сайта