Есть вопрос народ: кто-нибудь собирает логи с кластеров спарка?

7 ответов

21 просмотр

Если у вас AWS EMR и кластеры короткоживущие, то можно cloudwatch прикрутить, чтобы логи не терялись

filebeat + elastic

Artem
Если у вас AWS EMR и кластеры короткоживущие, то м...

А они и так не теряются - лежат себе на s3, с убитых кластеров их всегда можно достать Но там лазить неудобно кнш

Сиплый
А они и так не теряются - лежат себе на s3, с убит...

А в какой бакет это все попадает по дефолту? Как-то настраивать нужно специально?

Artem
А в какой бакет это все попадает по дефолту? Как-т...

Там надо просто включить, создать бакет и выдать права на создание объектов То же самое со спарк хистори - туда складывается, а из умершего кластера можно кликнуть

Vadimio- Автор вопроса
Artem
Если у вас AWS EMR и кластеры короткоживущие, то м...

а что если это бриксы, там все логи в целом можно вернуть за какое-то время если понадобятся. Мб есть какой простой способ выгружать их куда

Vadimio
а что если это бриксы, там все логи в целом можно ...

За бриксы не скажу - дел с ним не имел. Но по идее платное решение должно предоставлять такие вещи из коробки

Похожие вопросы

Обсуждают сегодня

Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Добрый день. Мне посоветовали обратиться к вам в чат за помощью. Ситуация описана на скрине. Как мне сказали, мне на бота навесили флудвейт. Есть ли возможность снять его ра...
OVERLINK
7
Просто по очереди выпиливаешь на ручной маппинг? По методу за раз
Andrii Kurdiumov
7
И? Все равно глазами проверять надо каждое поле
Andrii Kurdiumov
4
Ну есть у нас десяток компаний которым надо. Остальным то зачем?
Andrii Kurdiumov
4
Приветствую. А не подскажете какие ограничения есть на использования api метода setMyName ? Несколько раз сменил имя бота и получил бан на 2 месяца на смену имени.
Slick Slack
8
Всем привет! Взялся портировать модули на 18 версию, лезет _logger.log(log_level, 'no translation language detected, skipping translation %s', frame, stack_info=True) А чт...
Max Lit
3
Доброе утро, а кто то делал Google аналитику через php ? curl_setopt($ch, CURLOPT_NOSIGNAL, true); Это должно быть async без ожидания ответа. Вообще php нормально с таким с...
Max Dubovsky
9
Привет, коллеги! Возникла задача ограничить максимальный размер вложений для определённых расширений, например, чтобы для изображений лимит был 10 МБ, а для видео — 100 МБ. Ог...
Andro
1
Всем привет, добавляю поля в админку через контроллер взависимости от id, поля отображаются, сохраняются в бд, но не редактируются в админке, кто-то сталкивался с таким?
Catherine Poll
4
Карта сайта