сраный коммент к колонке в экстернал хайв таблице, содержаще много партиций занимает дофига времени? По идее просто операция на метадате, но под капотом он будто что-то для каждой партиции отдельно делает
ranger есть?
Да, есть
ну вот и бегает смотрит разрешения на каждую папку/файл
спс - похоже на правду, но почему метадата колонки привязана к данным под капотом не совсем понимаю :(
ну там же вроде есть возможность отдельные колонки давать/не давать в доступ. может с этим связано.
Спасибо - теперь я хотя бы знаю куда смотреть когда такое происходит. Просто это таблица ивентов, партиционированная по часам и если время тупняка будет расти линейно, это полный ахтунг будет
Обсуждают сегодня