52 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
DevsHelper DevsHelper
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
ru_gitlab ru_gitlab
OctoberCMS OctoberCMS
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Software Design/Architect... Software Design/Architect...
Evolution CMS Evolution CMS
Odoo talks & fun Odoo talks & fun
pro.buildsystems pro.buildsystems
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
Google Cloud Platform_ru Google Cloud Platform_ru
.NET Group .NET Group
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
Netbeans [RU] Netbeans [RU]
Data Engineers Data Engineers
Vadimio-

Есть вопрос народ: кто-нибудь собирает логи с кластеров спарка?

#hadoop #russian #software
0

7 ответов

14 просмотров
Artem-

Если у вас AWS EMR и кластеры короткоживущие, то можно cloudwatch прикрутить, чтобы логи не терялись

0
05.06.2023
Pavel-.

filebeat + elastic

0
05.06.2023
Сиплый-
Artem
Если у вас AWS EMR и кластеры короткоживущие, то м...

А они и так не теряются - лежат себе на s3, с убитых кластеров их всегда можно достать Но там лазить неудобно кнш

0
05.06.2023
Artem-
Сиплый
А они и так не теряются - лежат себе на s3, с убит...

А в какой бакет это все попадает по дефолту? Как-то настраивать нужно специально?

0
05.06.2023
Сиплый-
Artem
А в какой бакет это все попадает по дефолту? Как-т...

Там надо просто включить, создать бакет и выдать права на создание объектов То же самое со спарк хистори - туда складывается, а из умершего кластера можно кликнуть

0
05.06.2023
Vadimio- Автор вопроса
Artem
Если у вас AWS EMR и кластеры короткоживущие, то м...

а что если это бриксы, там все логи в целом можно вернуть за какое-то время если понадобятся. Мб есть какой простой способ выгружать их куда

0
05.06.2023
Artem-
Vadimio
а что если это бриксы, там все логи в целом можно ...

За бриксы не скажу - дел с ним не имел. Но по идее платное решение должно предоставлять такие вещи из коробки

0
05.06.2023

Похожие вопросы

Data Engineers Data Engineers / Dushman
Подписаться

Подскажите , а звезду кх вывезет?

#hadoop #russian #software
08.10.2023
0
46 ответов
Data Engineers Data Engineers / Alexey Evdokimov
Подписаться

Я обещал запилить FAQ по Data Cooker ETL. Запиливаю. Q. Что это такое? A. Специализированный инструмент для а) быстрого создания ETL процессов и б) эффективного по стоимост...

#hadoop #russian #software
21.09.2023
0
3 ответов
Data Engineers Data Engineers / Alexey Evdokimov
Подписаться

Q. Ну так в чём проблема хранить JSON в поле? Схему задал, и вперёд. A. Так в датакукере схему вообще задавать не нужно, он изначально schema-less. Если нужно обратиться к ат...

#hadoop #russian #software
21.09.2023
0
5 ответов
Data Engineers Data Engineers / Dushman
Подписаться

Салют ! У двух шардов в кх общий интерфейс при подключении на отдельном сервере должен быть?

#hadoop #russian #software
05.05.2023
0
49 ответов
Data Engineers Data Engineers / Pavel Tarasov
Подписаться

Всем привет. Я тут делаю первый раз в жизни DWH (кажется) и к сожалению я (с on hands опытом только в PG и пайтоне) самый опытный на проекте, так что сам придумываю дизайн. Мо...

#hadoop #russian #software
31.07.2023
0
24 ответов
Data Engineers Data Engineers / Annette
Подписаться

Всем добрый день! Подскажите, пожалуйста, никто не работал с dbt core? А также связкой dbt с hdfs? Нужна помощь с подключением dbt к hdfs для чтения файлов

#hadoop #russian #software
31.10.2023
0
22 ответов
Data Engineers Data Engineers / Anton Bukreev
Подписаться

Всем привет. Есть вопрос по Debezium. Он крутится в кубере, поды падают в крашлуп совершенно случайно и не системно на разных источниках данных. Есть корреляция с нагрузкой на...

#hadoop #russian #software
12.10.2023
0
1 ответов
Data Engineers Data Engineers / Dushman
Подписаться

Чтобы разрабатывать на кафке баша хватит или джава нужна?

#hadoop #russian #software
12.09.2023
0
27 ответов
Data Engineers Data Engineers / Иван
Подписаться

Предложили из бекендера, стек (java/groovy) перейти в de. Разработка etl java приложений, стек (java, nifi, airflow, hadoop). Самому интересно попробовать новые технологии, в...

#hadoop #russian #software
02.10.2023
0
23 ответов
Data Engineers Data Engineers / Mark
Подписаться

Приветствую. Подскажите пожалуйста кто работал с JSON в Spark. Есть N табличек (parquet), нужно по определенной логике собрать их в один большой JSON, пример: { "master_id":...

#hadoop #russian #software
12.11.2023
0
8 ответов
Смотреть еще
Data Engineers Data Engineers
Подписаться
Вопросов 1585
Ответов 5598
Участников 4851
Telegram @hadoopusers

Обсуждают сегодня

Всем привет. Нужна платная консультация от тех, кто сталкивался с октябрём в кластере или шарит оч хорошо в цмс. Проблема следующая: после переноса в кластер октябрь начал ...
wl
8
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
а я честно сказать не понимаю - нахуя идти учиться на вышку или еще куда-либо и при этом нихуя не делать, типа зачем ? просто корку получить, а нахуй она нужна тогда ?
Eugene Неелов
7
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
зараз якщо створити файл core/custom/define.php з текстом <?php const NO_SESSION = true; можна позбутися сесійних кукі (що зручно, щоб не показувати людям банери про збір та в...
Artur Kyryliuk
1
А сколько часов мак держит зарядку в рабочем режиме? Например мой Redmi Mac (просто наклейка от айфона осталась, налепил) по началу держал часов 5 с парой открытых штормов и ...
Ross
8
я бы даже сказал не размер резюме, а слова, которые там написаны, потому что резюме может быть на несколько десятков страниц из-за 20 летнего опыта работы, но там в опыте буде...
Eugene Неелов
2
так а я не могу просто новый сделать ? я пробовал не прокатило но может чето упускаю
Максим
3
Ребят, было ли у вас так, что переменные в WebApp —tg-viewport-height, —tg-viewport-stable-height после метода expand не обновляются, а остаются в размерах, как было до expand...
Black
3
Карта сайта