Наша система это пачка сервисов в AWS EKS/AWS EC2, сами сервисы это либо докер-контейнеры, либо нативные линуксовые бинари. Текущая система логов (файлы, которые валяются на ФС, а потом перекладываются скриптами в AWS S3), нас не устраивает по ряду причин (неудобство работы с логами, свои скрипты по перекладыванию, вот это всё).
Как один из вариантов рассматриваем связку Loki + Grafana. В связи с чем есть ряд вопросов:
1) У кого есть опыт запихивания в Loki относительно больших объёмов логов? Наша текущая нагрузка - 4.5 Tib/d (размазано плюс-минус равномерно), в целом ожидается и дальнейший рост до 20+ Tib/d и выше. В связи с чем вопрос о горизонтальном масштабировании Loki
2) Если есть какие-то релевантные статьи по опыту использования Loki в таких сценариях или свой опыт - буду премного благодарен
https://www.youtube.com/watch?v=vkdNY8QaCug
Спасибо, посмотрю
Обсуждают сегодня