Хочу поделится с вами своей болью, может даже получить совет: в

общем вдохновился я дэшбордами https://grafana.com/grafana/dashboards/12559 upd https://grafana.com/grafana/dashboards/13865
настроил всю эту связку (то что старый geoip уже неактуален и надо привязывать geoip2 чтоб в логах была инфа по contry_code - отдельная балада), но в общем: логи пишутся - promtail отправляет все это дело в loki - графана строит дешборд - все замечательно, настраивал связку по конфигам которые приведены в описании дэшбордов - красота все показывает,

проходит пара дней - логов видимо становится больше - тормозит отрисовка дэшборда и не все данные отображает - смотрю а loki сожрал уже 3,8 Гига оперативы - перезапускаю loki - данные на графиках обнуляются - не должна ли была графана закешировать где-то эти данные? и почему loki так много жрет памяти или это его нормальное поведение?

9 ответов

31 просмотр

https://www.miyuru.lk/geoiplegacy

Terry Filch
https://www.miyuru.lk/geoiplegacy

WOW ;) спасибо за линк

Slach [altinity]
WOW ;) спасибо за линк

только жи почитайте, что пишет автор

1) графана ничего сама не кеширует от слова вообще 2) loki как любое golang приложение вполне себе может жрать память. в основном он должен жрать ее под индексы сколько данных то вообще собираетесь отображать то? прикидывали уже?

VL- Автор вопроса
Slach [altinity]
1) графана ничего сама не кеширует от слова вообще...

сам лог файл в сутки около 700 метров забивает, пусть хоть за месяц можно посмотреть данные на графиках

VL- Автор вопроса
Alexey Protsenko
сколько labels ты пушишь?

уфф тут сложнее ответить, имеешь ввиду сколько полей в json строке? - 38

VL
уфф тут сложнее ответить, имеешь ввиду сколько пол...

нет. немного не так. ты их все делаешь labels?

VL- Автор вопроса
Alexey Protsenko
сколько labels ты пушишь?

logcli series '{}' --analyze-labels --since=6h 2021-02-25 19:56:23.062439 I | proto: duplicate proto type registered: ingester.Series http://localhost:3100/loki/api/v1/series?end=1614261383063594433&match=%7B%7D&start=1614239783063594433 Total Streams: 2 Unique Labels: 4 Label Name Unique Values Found In Streams filename 2 2 host 2 2 job 2 2 agent 1 2

Похожие вопросы

Обсуждают сегодня

Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
2
Коллеги, я тут для личных нужд пошел ставить MQTT сервер, пощупал mosquitto, но ужаснулся отсутствию такой банальности, как HTTP API для посмотреть список топиков. А тут что,...
Maksim Lapshin
14
У меня задача: написать брокер сообщений. Очереди и потребители. Очереди поддерживают приоритеты. Очередь отдает сообщения, только обработчикам с соответствующими характеристи...
Aleksandr Filippov
2
Решил тут попробовать embassy на bluepill. Все установил, собрал blink и успешно залил с помощью St link 2 китайского. Но после этого чип шиться перестал. На форумах прочел, ч...
Lukutin R2AJP
6
Привет!) Кто как юзает переменные в строках?) Чисто ради интереса Вот так: echo "У меня {$bananasAmount} бананов"; Или вот так: echo "У меня ${bananasAmount} бананов";
Виталий
3
Карта сайта