Рассматриваем сейчас у себя разные варианты для организации системы логов.

Наша система это пачка сервисов в AWS EKS/AWS EC2, сами сервисы это либо докер-контейнеры, либо нативные линуксовые бинари. Текущая система логов (файлы, которые валяются на ФС, а потом перекладываются скриптами в AWS S3), нас не устраивает по ряду причин (неудобство работы с логами, свои скрипты по перекладыванию, вот это всё).

Как один из вариантов рассматриваем связку Loki + Grafana. В связи с чем есть ряд вопросов:
1) У кого есть опыт запихивания в Loki относительно больших объёмов логов? Наша текущая нагрузка - 4.5 Tib/d (размазано плюс-минус равномерно), в целом ожидается и дальнейший рост до 20+ Tib/d и выше. В связи с чем вопрос о горизонтальном масштабировании Loki
2) Если есть какие-то релевантные статьи по опыту использования Loki в таких сценариях или свой опыт - буду премного благодарен

2 ответов

5 просмотров

https://www.youtube.com/watch?v=vkdNY8QaCug

Alexander "SonnySlave"-Zaitsev Автор вопроса

Похожие вопросы

Обсуждают сегодня

Какого хера? /Sources/App/Modules/User/Models/UserLinkApple.swift:21:20: warning: stored property '_id' of 'Sendable'-conforming class 'UserLinkApple' is mutable @ID(...
Alexander Sherbakov
14
Всем привет. Есть кто разбирается в платежках? Что б принимать из других стран и выплачивать рф снг
Musa
6
Портфолио: Зовут меня Александр, мне 36 лет. Город Пушкино. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github....
Magic
10
У тебя в конфиге нигде нет deny all; или вообще любого deny?
Alexander Sherbakov
10
Портфолио: Зовут меня Александр, мне 41 год. Город Киров. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github.co...
Magic
11
Приветствую всех, есть вопросик. Передали проект на OctoberCms, без инсталяшки в полуразвернутом виде, нужно было залить бекап бд, после залития бд, оказалось, что части строк...
Лео
14
Подскажите, пожалуйста, где в backende, или не в нем можно дату поправить? Логирует действия не в том часовом поясе
Лео
7
Есть магистры regex в чате? Задача: нужно написать regex который мэтчит полные (без сокращений по типу ::1/128) ipv6 адреса кроме 2001:0df7:cef7:29f7:52f7:adf7:2cf7:4ff7, при ...
Илья
5
посыпаю голову пеплом =) https://docs.vapor.codes/advanced/files/?h=stream#files
Seryoga
10
люди а напомните, пожалуста, как называется алгоритм поиска текста который допускает ввод ошибок? Например есть несколько строк: Trigun Trigun: Stumpeede Мне нужно что бы ...
Куся 🌿⃤ __UKS
2
Карта сайта