Всем привет, сейчас есть elk, есть лог nginx, logstash парсит

Question

Всем привет, сейчас есть elk, есть лог nginx, logstash парсит

єтот лог на кусочки(url в частности). Хочу писать из логстеша в КХ. Нашел logstash-output-clickhouse, но с 7м логстешем он не собирается и не работает. Бьіла идея писать правильно сформированьій строчньій json в фаил и потом закидьівать пачками в КХ, но єто какойто костьіль, писать через http output не самая хорошоя идея, куча лишнего и плюс не могу писать блоками(буфферная таблица тоже расматривается как вариант). Попробовал на го накидать програмку, и писать через пайп в нее и потом блоками в КХ, но понимаю, что єто тоже кастьіль. Как лучше сделать? От filebeat->logstash отказатся можно, но тогда вопрос доставки логов и формирования лога(url можно со стороньі nginx) праспарсить, как вариант. Логрейт 4000/с. Спасибо

#backend #clickhouse #database #devops #programming #russian

0

14.09.2020

2 ответов

13 просмотров

Дмитро Бур'янов 🇺🇦 Автор вопроса

Oleg
Если пишите типизированные логи в json, то оставай...

Єластик пишет до 7krqs, КХ на томже железе 40к, и судя по всему еще сможет. У меня цель не сторедж для логов, а отчетьі по группам запросов в реальном времени, поєтому я и разбираю url на компонентьі

0

14.09.2020

Oleg · Accepted Answer

Если пишите типизированные логи в json, то оставайтесь на елк. Логгирующие либы нередко добавляют уровни вложенности к json (для удобства логирования объекта и исключения коллизий филдов например), очень неудобно будет потом делать его так называемым json each row

184 похожих чатов

Всем привет, сейчас есть elk, есть лог nginx, logstash парсит

2 ответов

Похожие вопросы