61 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
ClickHouse не тормозит ClickHouse не тормозит
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
nginx_ru nginx_ru
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
PostgreSQL + 1C + Linux PostgreSQL + 1C + Linux
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
DevsHelper DevsHelper
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
OctoberCMS OctoberCMS
ru_gitlab ru_gitlab
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Evolution CMS Evolution CMS
Odoo talks & fun Odoo talks & fun
Software Design/Architect... Software Design/Architect...
dbGeeks dbGeeks
pro.buildsystems pro.buildsystems
React: русскоязычное сооб... React: русскоязычное сооб...
opencv_ru opencv_ru
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
catboost_ru catboost_ru
Kaggle Kaggle
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
.NET Group .NET Group
Google Cloud Platform_ru Google Cloud Platform_ru
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
ScyllaDB ScyllaDB
Netbeans [RU] Netbeans [RU]
☁️ AWS_RU ☁️ AWS_RU
Alexander "SonnySlave"-Zaitsev

Подскажите пожалуйста, кто-нибудь организовывал хранение логов и работу с ними

(поиск, чтение) для сервисов с помощью S3 + S3 Select? Интересует, какие плюсы и подводные камни у такого подхода могут быть.

Сам я видел похожие схемы, но там был ELK + S3 + Athena

#aws #database #russian #software
0

11 ответов

17 просмотров
Jürgen-Romins

использовал aws es сервис из минусов было то что на больших индексах падал, и раньше автотюн работал так себе

0
31.05.2021
Alexander "SonnySlave"-Zaitsev Автор вопроса
Jürgen Romins
использовал aws es сервис из минусов было то что н...

не, меня интересует использование чистого S3 для хранения + S3 Select для работы с логами без эластики

0
31.05.2021
Dmitry-Ilyin
Alexander "SonnySlave" Zaitsev
не, меня интересует использование чистого S3 для х...

в формате Json? самому интересно подводные камни этого

0
31.05.2021
A-Stekov

ну а что плохого в схеме elk + снепшоты на s3?

0
31.05.2021
Alexander "SonnySlave"-Zaitsev Автор вопроса
A Stekov
ну а что плохого в схеме elk + снепшоты на s3?

я не говорю, что это плохая схема. Я спрашиваю конкретно про опыт использования схемы просто S3 + S3 Select без использования ELK, так как такого я раньше не видел в дикой природе. Конкретные аргументы против ELK - проблемы со скейлингом, но это уже совсем другой вопрос

0
31.05.2021
ㅤ-
Alexander "SonnySlave" Zaitsev
я не говорю, что это плохая схема. Я спрашиваю кон...

там нет проблем особых с скейлингом, просто стоить денег будет S3 хорошо но все упирается в сбор и анализ логов

0
31.05.2021
ㅤ-
Alexander "SonnySlave" Zaitsev
я не говорю, что это плохая схема. Я спрашиваю кон...

не для всех очевидно, но постройку лог системы стоит начать с оптимизации самих логов, как правило по умолчанию там больше 60% идет никому ненужного мусора, и не разумно скалировать ELK без этой оптимизации

0
31.05.2021
A-Stekov
ㅤ
не для всех очевидно, но постройку лог системы сто...

вот 3 раз за последний месяц читаю и понимаю какая же это верная мысль

0
31.05.2021
Jürgen-Romins
Alexander "SonnySlave" Zaitsev
я не говорю, что это плохая схема. Я спрашиваю кон...

Не хочешь проблем со скелингом бери менеджмент 😂

0
01.06.2021
Tamerlan-

посмотрите в сторону локи

0
01.06.2021

Похожие вопросы

☁️ AWS_RU ☁️ AWS_RU / Sergey
Подписаться

Как считаете - вопрос на собесе: «Как быстрее всего запустить ec2 машину в aws (в чистом аккаунте) и показать вывод от любой команды с нее» не очень ли сложный для условного м...

#aws #database #russian #software
28.10.2023
0
50 ответов
☁️ AWS_RU ☁️ AWS_RU / Kirill
Подписаться

Всем доброго времени суток! Вероятно новаторский вопрос, так как до этого не сталкивался с aws и в целом не занимался настройкой инфраструктуры Какие есть устоявшиеся паттерн...

#aws #database #russian #software
23.05.2023
0
24 ответов
☁️ AWS_RU ☁️ AWS_RU / Deyvis Kom
Подписаться

Всем привет, небольшой вопрос по EKS. Я залогинился под IAM ролью, которую используют воркер ноды (она весьма ограниченная, там сплошные describe и readonly) и смог увидеть по...

#aws #database #russian #software
30.07.2023
0
30 ответов
☁️ AWS_RU ☁️ AWS_RU / Rostislav Teryaev
Подписаться

Привет! Я амазоном не пользовался, поэтому направьте пожалуйста) Мне надо запускать 1 бинарник на го. Супер легкий - 0.00001 цпу и столько же памяти) Но надо запускать его в р...

#aws #database #russian #software
11.09.2023
0
25 ответов
☁️ AWS_RU ☁️ AWS_RU / Slach [altinity]
Подписаться

объясните пожалуйста как заставить aws s3 ls имея только AWS_ROLE_ARN и AWS_ROLE_SESSION_NAME как то самостоятельно токен получить и авторизацию? пытался сделать AWS_ROLE_SE...

#aws #database #russian #software
03.06.2023
0
30 ответов
☁️ AWS_RU ☁️ AWS_RU / Pavel
Подписаться

Всем привет. Есть кластер EKS с включенной опцией Secrets encryption, там есть ключ KMS, но под рутовым аккаунтом к ключу нет доступа. Доступ к кластеру есть. Как получить дос...

#aws #database #russian #software
24.10.2023
0
22 ответов
☁️ AWS_RU ☁️ AWS_RU / elBobrKurwa
Подписаться

Коллеги-душнилы. Вопрос к вам. Ситуация, грядет собес человека, с заявленными знаниями “соответствующими” сертификату Солюшн архитект. Что бы вы спросили такого, чтобы понять...

#aws #database #russian #software
29.08.2023
0
23 ответов
☁️ AWS_RU ☁️ AWS_RU / Alexandr Kryuchkov
Подписаться

Добрый день. Задам сперва вопрос тут, потому как вся инфра в aws, затем поёду в часик девопсру если это тема для там. Вот представьте есть некий проект. Ну прям всё как обычн...

#aws #database #russian #software
18.05.2023
0
19 ответов
☁️ AWS_RU ☁️ AWS_RU / Eugene Gladchenko
Подписаться

У меня сегодня как минимум в одном аккаунте недоступен репозиторий amzn2-core для Amazon Linux 2. Это я один такой или я пропустил что-то важное? # yum repoinfo amzn2-core L...

#aws #database #russian #software
06.10.2023
0
1 ответов
☁️ AWS_RU ☁️ AWS_RU / Elisey Martynov
Подписаться

Всем привет. Прошу не кидаться тапками, т.к. я фронт 😁 Предположим мне нужно развернуть самописный блог (например, фронт + бэк на js). Каким способом это будет лучше сделать? ...

#aws #database #russian #software
01.11.2023
0
19 ответов
Смотреть еще
☁️ AWS_RU ☁️ AWS_RU
Подписаться
Вопросов 9231
Ответов 16671
Участников 3284
Telegram @aws_ru

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
1. https://www.kaggle.com/code/ahmadrezagholami2001/housing-estimation-linear-regression 2. https://www.kaggle.com/code/ahmadrezagholami2001/uncovering-quality-in-wines-logis...
Ahmadreza
1
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Карта сайта