Привет! Подскажите, пожалуйста, можно ли в loki сделать ограничение на

количество строк лога на промежутке времени (или размера в mb на промежутке времени) , чтобы то , что за пределами этого лимита просто терялось.
Т.е. приложение пишет 5млн строк лога за 3 минуты - хочу ограничить чтобы за 3 минуты можно было только 1млн записать а остальное игнорить?

10 ответов

41 просмотр

https://grafana.com/docs/loki/latest/clients/promtail/stages/limit/

Mikhail-Maslov Автор вопроса
Vadim Rutkovsky
https://grafana.com/docs/loki/latest/clients/promt...

это видел, тут не понятно какой промежуток времени. Т.е ограничение в мб , а время?

Mikhail Maslov
это видел, тут не понятно какой промежуток времени...

А откуда ему считать время? Оно считает плавающее окно и кол-во мегабайт логов, отсюда рейт

Mikhail-Maslov Автор вопроса
Vadim Rutkovsky
А откуда ему считать время? Оно считает плавающее ...

а каким параметром регулировать стейдж drop ? [drop: <bool> | default = false] для rate и burst вижу ingestion_rate_mb: ingestion_burst_size_mb: а для реджектов этот? в описании вроде про "old" а мне надо наоборот новые скипать # Whether or not old samples will be rejected. # CLI flag: -validation.reject-old-samples [reject_old_samples: <boolean> | default = true]

Mikhail Maslov
а каким параметром регулировать стейдж drop ? [d...

Вообще не понятно. Ты имеешь ввиду "как ему сказать что дропать?"

Mikhail-Maslov Автор вопроса
Vadim Rutkovsky
Вообще не понятно. Ты имеешь ввиду "как ему сказат...

да, по ссылке https://grafana.com/docs/loki/latest/clients/promtail/stages/limit/ написано типа надо выставить в true [drop: <bool> | default = false] но в https://grafana.com/docs/loki/latest/configuration/#limits_config я соответсвующего параметра не вижу

Mikhail Maslov
да, по ссылке https://grafana.com/docs/loki/late...

https://grafana.com/docs/loki/latest/clients/promtail/pipelines/ Все что наматчилось в предыдущих стадиях будет использоваться с стейдже limit. Drop только переключает режим "выбросить/подождать пока нагрузка спадет"

Mikhail-Maslov Автор вопроса
Vadim Rutkovsky
https://grafana.com/docs/loki/latest/clients/promt...

правильно понимаю, что я могу фильтровать на этапе матча все что мне нужно а потом в limit указать типа - limit: rate: 100 burst: 100 drop: true и тогда у меня в локи будет по 100 строк в секунду, в соответсвии с моими фильтрами в match а все что больше будет дропаться?

Mikhail-Maslov Автор вопроса
Vadim Rutkovsky
да

спасибо!

Похожие вопросы

Обсуждают сегодня

Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
2
Коллеги, я тут для личных нужд пошел ставить MQTT сервер, пощупал mosquitto, но ужаснулся отсутствию такой банальности, как HTTP API для посмотреть список топиков. А тут что,...
Maksim Lapshin
14
У меня задача: написать брокер сообщений. Очереди и потребители. Очереди поддерживают приоритеты. Очередь отдает сообщения, только обработчикам с соответствующими характеристи...
Aleksandr Filippov
2
Решил тут попробовать embassy на bluepill. Все установил, собрал blink и успешно залил с помощью St link 2 китайского. Но после этого чип шиться перестал. На форумах прочел, ч...
Lukutin R2AJP
6
Привет!) Кто как юзает переменные в строках?) Чисто ради интереса Вот так: echo "У меня {$bananasAmount} бананов"; Или вот так: echo "У меня ${bananasAmount} бананов";
Виталий
3
Карта сайта