А зачем другие джобы во время перезаписи работают? По статусу готовности не можешь разрулить?
А зачем жсон-схема?
Как его из питона в юпитере запустить интерактивно?
Ловишь эти доки и их надо в постгрес положить?
Но что мешает вкинуть ноды хадупа в кубер? При этом сами хадуп датанод процессы оставив крутиться в "неразмеченной" с точки зрения кубера области
Есть варик поучаствовать в построении госплана на бигдате?)
Не ырфлоу же, да?
А, стоп, логи самого сервера, или эвентлоги спарк-сессий, которые он показывает?
А, tpc-ds на клике быстрее работает?
статью запилишь?)
Что может лучше сказать о работоспособности пайлайна, чем получение качественных реальных данных месяц подряд?
А зачем избыточно оперативки раздавать, если можно подрезать до 1.5гб/ядро?
На пользовательских HDD что ли?
А есть ли что-то уникальное из того, что ты используешь на R, для чего ещё нет либ в других языках, или нет?
А чем кликхаус не подойдёт?
Чё вы туда складируете?
Клиент через вскод подрубается к серверу и шлёт в него хмл?
У кого-то есть больше 30 терабайт в сутки, кроме ВК и яндекса?
Ссд одной ноды в LVM?
А чем заливаешь? Там же должен быть и хдфс апи, и s3 апи