Рассматриваем сейчас у себя разные варианты для организации системы логов.

Наша система это пачка сервисов в AWS EKS/AWS EC2, сами сервисы это либо докер-контейнеры, либо нативные линуксовые бинари. Текущая система логов (файлы, которые валяются на ФС, а потом перекладываются скриптами в AWS S3), нас не устраивает по ряду причин (неудобство работы с логами, свои скрипты по перекладыванию, вот это всё).

Как один из вариантов рассматриваем связку Loki + Grafana. В связи с чем есть ряд вопросов:
1) У кого есть опыт запихивания в Loki относительно больших объёмов логов? Наша текущая нагрузка - 4.5 Tib/d (размазано плюс-минус равномерно), в целом ожидается и дальнейший рост до 20+ Tib/d и выше. В связи с чем вопрос о горизонтальном масштабировании Loki
2) Если есть какие-то релевантные статьи по опыту использования Loki в таких сценариях или свой опыт - буду премного благодарен

2 ответов

20 просмотров

https://www.youtube.com/watch?v=vkdNY8QaCug

Alexander "SonnySlave"-Zaitsev Автор вопроса

Похожие вопросы

Обсуждают сегодня

Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
1
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Коллеги, я тут для личных нужд пошел ставить MQTT сервер, пощупал mosquitto, но ужаснулся отсутствию такой банальности, как HTTP API для посмотреть список топиков. А тут что,...
Maksim Lapshin
14
У меня задача: написать брокер сообщений. Очереди и потребители. Очереди поддерживают приоритеты. Очередь отдает сообщения, только обработчикам с соответствующими характеристи...
Aleksandr Filippov
2
Карта сайта