Подскажите пожалуйста, кто-нибудь организовывал хранение логов и работу с ними

(поиск, чтение) для сервисов с помощью S3 + S3 Select? Интересует, какие плюсы и подводные камни у такого подхода могут быть.

Сам я видел похожие схемы, но там был ELK + S3 + Athena

11 ответов

4 просмотра

использовал aws es сервис из минусов было то что на больших индексах падал, и раньше автотюн работал так себе

Alexander "SonnySlave"-Zaitsev Автор вопроса
Jürgen Romins | no pm!
использовал aws es сервис из минусов было то что н...

не, меня интересует использование чистого S3 для хранения + S3 Select для работы с логами без эластики

Alexander "SonnySlave" Zaitsev
не, меня интересует использование чистого S3 для х...

в формате Json? самому интересно подводные камни этого

ну а что плохого в схеме elk + снепшоты на s3?

Alexander "SonnySlave"-Zaitsev Автор вопроса
A Stekov
ну а что плохого в схеме elk + снепшоты на s3?

я не говорю, что это плохая схема. Я спрашиваю конкретно про опыт использования схемы просто S3 + S3 Select без использования ELK, так как такого я раньше не видел в дикой природе. Конкретные аргументы против ELK - проблемы со скейлингом, но это уже совсем другой вопрос

Alexander "SonnySlave" Zaitsev
я не говорю, что это плохая схема. Я спрашиваю кон...

там нет проблем особых с скейлингом, просто стоить денег будет S3 хорошо но все упирается в сбор и анализ логов

Alexander "SonnySlave" Zaitsev
я не говорю, что это плохая схема. Я спрашиваю кон...

не для всех очевидно, но постройку лог системы стоит начать с оптимизации самих логов, как правило по умолчанию там больше 60% идет никому ненужного мусора, и не разумно скалировать ELK без этой оптимизации


не для всех очевидно, но постройку лог системы сто...

вот 3 раз за последний месяц читаю и понимаю какая же это верная мысль

Alexander "SonnySlave" Zaitsev
я не говорю, что это плохая схема. Я спрашиваю кон...

Не хочешь проблем со скелингом бери менеджмент 😂

посмотрите в сторону локи

Похожие вопросы

Обсуждают сегодня

Всем привет. Есть кто разбирается в платежках? Что б принимать из других стран и выплачивать рф снг
Musa
6
Портфолио: Зовут меня Александр, мне 36 лет. Город Пушкино. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github....
Magic
10
Портфолио: Зовут меня Александр, мне 41 год. Город Киров. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github.co...
Magic
11
Приветствую всех, есть вопросик. Передали проект на OctoberCms, без инсталяшки в полуразвернутом виде, нужно было залить бекап бд, после залития бд, оказалось, что части строк...
Лео
14
А как получить доступ к отправленному сообщению в ChosenInlineResult? Раньше кажется можно было, щас убрали?
net
2
Подскажите, пожалуйста, где в backende, или не в нем можно дату поправить? Логирует действия не в том часовом поясе
Лео
7
Есть магистры regex в чате? Задача: нужно написать regex который мэтчит полные (без сокращений по типу ::1/128) ipv6 адреса кроме 2001:0df7:cef7:29f7:52f7:adf7:2cf7:4ff7, при ...
Илья
5
где собака, админ группы? нычкуется и боится проявить волю, в толерантность еще не наигрался? @yelizariev
Ognezar
61
Всем привет В общем надо на странице вакансии вывести вакансии с hh, но когда я пишу код в разделе Code ошибка Invalid URL format. The URL should start with the forward slash...
A da
1
DataGrip не сканирует почему-то все таблицы, хотя раньше показывал их че за херня, сталкивались?
Magic
9
Карта сайта