А зачем другие джобы во время перезаписи работают? По статусу готовности не можешь разрулить?
Как его из питона в юпитере запустить интерактивно?
А зачем жсон-схема?
Не ырфлоу же, да?
Но что мешает вкинуть ноды хадупа в кубер? При этом сами хадуп датанод процессы оставив крутиться в "неразмеченной" с точки зрения кубера области
А, стоп, логи самого сервера, или эвентлоги спарк-сессий, которые он показывает?
Ловишь эти доки и их надо в постгрес положить?
Есть варик поучаствовать в построении госплана на бигдате?)
Что может лучше сказать о работоспособности пайлайна, чем получение качественных реальных данных месяц подряд?
А зачем избыточно оперативки раздавать, если можно подрезать до 1.5гб/ядро?
На пользовательских HDD что ли?
Чё вы туда складируете?
А, tpc-ds на клике быстрее работает?
А чем кликхаус не подойдёт?
статью запилишь?)
У кого-то есть больше 30 терабайт в сутки, кроме ВК и яндекса?
А чем заливаешь? Там же должен быть и хдфс апи, и s3 апи
Клиент через вскод подрубается к серверу и шлёт в него хмл?
А есть ли что-то уникальное из того, что ты используешь на R, для чего ещё нет либ в других языках, или нет?
А где процессы крутятся, в ырфлоу?