Lyudmila Lapitskaia

Привет чат Скажите, пожалуйста, какие есть способы понять, чем драйвер занят? Приложение висит 40 минут уже, джобы не появляются в списке В логах ничего абсолютно не происходи...

Привет! Я работала дата инженером со спарком/хадупом и вот таким дефолтным стеком года 4-5, потом полгода был перерыв в работе, сейчас хочу вернуться к поиску Подскажите какие...

Ещё есть один новичковый вопрос. Допустим, я хочу сохранить дамп при ООМ. Как это правильно настроить, чтобы этот дамп сохранился в постоянной локации, а не помер с экзекьютор...

Подскажите, кто как мониторит batch/streaming Kafka spark приложения? Через кастомный Kafka Datasource? Или какие-нибудь monitoring interceptors?