Всем привет! Ребята, нужен совет. Есть promtail, который собиратет nginx логи

в формате json. Сейчас нужно сделать так, что бы в Loki уходили логи с определенным request_uri, так как все остальное по факту мусор.
Проблема в том, что этих эндпоинтов 200+ штук. Может кто-то решал подобную задачу?

7 ответов

6 просмотров

так это в nginx указываешь что логировать а что нет, можно еще в промтейле в цепочке трансформаций обнаруживать при помощи Regexp ненужное и отбрасывать

/dev/-null Автор вопроса
Вадим Бударин Бударин
так это в nginx указываешь что логировать а что не...

через pipeline_stages типа прогонять и регуляркой выбирать нужные request_uri, а все остальное дропать? Просто в первые сталкиваюсь с этим инструментом.

/dev/ null
через pipeline_stages типа прогонять и регуляркой ...

там скорее наоборот - есть action drop - искать не нужное и дропать

/dev/-null Автор вопроса
Вадим Бударин Бударин
там скорее наоборот - есть action drop - искать не...

А вот как раз все что ненужно, не известно. Там всякие боты и прочая нечисть.

/dev/ null
А вот как раз все что ненужно, не известно. Там вс...

так напиши так - все что не соответствует регулярке ...)

/dev/-null Автор вопроса
Вадим Бударин Бударин
так напиши так - все что не соответствует регулярк...

У меня к примеру есть регулярка, которая фильтрует эндпоинты из белого списка: \/.+\/(?:v1|v2)\/.+$ Собственно вот пример эндпоинтов, которые попадают под данное выражение /users/api/v1/groups/list /orders/api/v2/create/payments Посмотрел примеры в promtail и нарисовал следующий конфиг: - job_name: nginx-access-log static_configs: - targets: - localhost labels: job: nginx_access_log host: "{{ ansible_hostname }}" __path__: /var/log/nginx/myapp-access-json.log pipeline_stages: - json: expressions: request_uri: request_uri message: message - regex: expression: '\/.+\/(?:v1|v2)\/.+$' source: 'request_uri' - labels: request_uri: - output: source: message Но в итоге все равно приходят логи, в которых фигурируют эндпоинты, которые не попадают под эту регулярку. Примеров с подобными кейсами не нашел на просторах гугла. Что я делаю не так?😒

Похожие вопросы

Обсуждают сегодня

Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
5
А в каком формате фреймы? Сам формат сейчас придумываешь, или что-то готовое нужно распарсить?
Okhsunrog
5
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Карта сайта