Хочу поделится с вами своей болью, может даже получить совет: в

общем вдохновился я дэшбордами https://grafana.com/grafana/dashboards/12559 upd https://grafana.com/grafana/dashboards/13865
настроил всю эту связку (то что старый geoip уже неактуален и надо привязывать geoip2 чтоб в логах была инфа по contry_code - отдельная балада), но в общем: логи пишутся - promtail отправляет все это дело в loki - графана строит дешборд - все замечательно, настраивал связку по конфигам которые приведены в описании дэшбордов - красота все показывает,

проходит пара дней - логов видимо становится больше - тормозит отрисовка дэшборда и не все данные отображает - смотрю а loki сожрал уже 3,8 Гига оперативы - перезапускаю loki - данные на графиках обнуляются - не должна ли была графана закешировать где-то эти данные? и почему loki так много жрет памяти или это его нормальное поведение?

9 ответов

35 просмотров

https://www.miyuru.lk/geoiplegacy

Terry Filch
https://www.miyuru.lk/geoiplegacy

WOW ;) спасибо за линк

Slach [altinity]
WOW ;) спасибо за линк

только жи почитайте, что пишет автор

1) графана ничего сама не кеширует от слова вообще 2) loki как любое golang приложение вполне себе может жрать память. в основном он должен жрать ее под индексы сколько данных то вообще собираетесь отображать то? прикидывали уже?

VL- Автор вопроса
Slach [altinity]
1) графана ничего сама не кеширует от слова вообще...

сам лог файл в сутки около 700 метров забивает, пусть хоть за месяц можно посмотреть данные на графиках

VL- Автор вопроса
Alexey Protsenko
сколько labels ты пушишь?

уфф тут сложнее ответить, имеешь ввиду сколько полей в json строке? - 38

VL
уфф тут сложнее ответить, имеешь ввиду сколько пол...

нет. немного не так. ты их все делаешь labels?

VL- Автор вопроса
Alexey Protsenko
сколько labels ты пушишь?

logcli series '{}' --analyze-labels --since=6h 2021-02-25 19:56:23.062439 I | proto: duplicate proto type registered: ingester.Series http://localhost:3100/loki/api/v1/series?end=1614261383063594433&match=%7B%7D&start=1614239783063594433 Total Streams: 2 Unique Labels: 4 Label Name Unique Values Found In Streams filename 2 2 host 2 2 job 2 2 agent 1 2

Похожие вопросы

Обсуждают сегодня

Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
5
А в каком формате фреймы? Сам формат сейчас придумываешь, или что-то готовое нужно распарсить?
Okhsunrog
5
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Карта сайта