Коллеги, есть надобность анализировать логи nginx на балансировщике на предмет

Question

Коллеги, есть надобность анализировать логи nginx на балансировщике на предмет

количества ошибок по их кодам - 4xx, 5xx
скрипт, который написала поддержка для этого (его ещё не видел, но посмотрю позже), похоже грузит цпу и память...
кароч, чтобы минимизировать влияние всяких скриптов, мы взяли отдельный сервер для этого.. теперь есть задача дублировать логи nginx-а на него.. какие у вас есть варианты для этого? )

логов в сутки около 160 ГБ...

есть такой, например
https://docs.nginx.com/nginx/admin-guide/monitoring/logging/#syslog

есть вопрос к сислогу... такое потянет, кто знает?

#devops #programming #russian

0

16.03.2020

6 ответов

29 просмотров

Andrew Urpin

elk

0

16.03.2020

Отделение Bereke Bank Ор

Пишешь логи в json-е, забираешь filebeat-ом и делаешь с ними что захочешь Правда если несколько апстримов вернут тебе 502/504 - ты получишь невалидный Json. В остальном все збс

0

16.03.2020

Nurmukhamed Artykaly

Logstash создай input, читай файлы, обязательно посмотри какой у тебя шаблон логов, используй свой или готовый шаблон grok. Чтобы одна строка лога превратилась в нормальную запись с кучей полей. Затем в Logstash создай два output, один пусть отправляет в ES, второй пусть отправляет в Riemann. В Riemann создай правила, создай среднее, медиану и персентили. Затем этот stream отправляй в graphana. Также создай оповещения, чтобы реагировать на них

0

17.03.2020

Andrey

Telegraf с pattern + influxdb + grafana, а из influx уже можно делать sql запрос из графаны.

0

17.03.2020

Sergey Pechenkó

Потянет. Тянет ~60Гб в час.

0

18.03.2020

Sergey Trapeznikov · Accepted Answer

Sergey Trapeznikov

елк не нравится?

0

16.03.2020

172 похожих чатов

Коллеги, есть надобность анализировать логи nginx на балансировщике на предмет

6 ответов

Похожие вопросы