Если у вас AWS EMR и кластеры короткоживущие, то можно cloudwatch прикрутить, чтобы логи не терялись
filebeat + elastic
А они и так не теряются - лежат себе на s3, с убитых кластеров их всегда можно достать Но там лазить неудобно кнш
А в какой бакет это все попадает по дефолту? Как-то настраивать нужно специально?
Там надо просто включить, создать бакет и выдать права на создание объектов То же самое со спарк хистори - туда складывается, а из умершего кластера можно кликнуть
а что если это бриксы, там все логи в целом можно вернуть за какое-то время если понадобятся. Мб есть какой простой способ выгружать их куда
За бриксы не скажу - дел с ним не имел. Но по идее платное решение должно предоставлять такие вещи из коробки
Обсуждают сегодня