Товарищи, коллеги, дайте совет. Clickhouse стоит локально на мощном железе.

Question

Товарищи, коллеги, дайте совет. Clickhouse стоит локально на мощном железе.

Логи целиковымии файлами попадают на него с разных сервисов. Их нужно чем то парсить, чем посоветуете? Например nginx, у нас его лог расширенный с доп параметрами (access.log)

#backend #clickhouse #database #devops #programming #russian

0

13.11.2020

5 ответов

3 просмотра

Gos Stepan Автор вопроса

David Gobronidze
Если объемы огромные на nginx'е, пишите свои преда...

нормальный вид? json ?или один из поддерживаемых форматов

0

13.11.2020

David Gobronidze

Gos Stepan
нормальный вид? json ?или один из поддерживаемых ф...

Ну мы парсим access-log, всякие там upstream_rt и кучу всего еще и засылаем просто VALUES. Между кх и парсером стоит еще киттенхаус, но тут каждый делает, как хочет.

0

13.11.2020

Gos Stepan Автор вопроса

David Gobronidze
Ну мы парсим access-log, всякие там upstream_rt и ...

примерно тоже самое. рассматриваем вариант альтернативу elk

0

13.11.2020

David Gobronidze

Gos Stepan
примерно тоже самое. рассматриваем вариант альтерн...

Вот когда у нас был ELK, L вообще выкинули, парсер писал напрямую в E. И приходилось аггрегировать по секунде, иначе не вывозило. С кх попроще вышло, можно каждое событие писать отдельно и появились возможности. Но логика с парсингом не поменялась.

0

13.11.2020

David Gobronidze · Accepted Answer

Если объемы огромные на nginx'е, пишите свои предагрегаторы/парсеры. У нас на nginx-серверах утилита на ноде приводит их в нормальный вид и отправляет в КХ. Все другие варианты просто не вывозили. Где именно находится парсер и на чем написан — не особо важно, понятно. Мы на серверы nginx-а положили, чтобы сеть насиловать поменьше.

184 похожих чатов

Товарищи, коллеги, дайте совет. Clickhouse стоит локально на мощном железе.

5 ответов

Похожие вопросы