Athena partition нужно каждый раз добавлять partition, как только добавилась инфа?
пример:
s3://CLOUDTRAILBUCKET/AWSLogs/ACCOUNTNUMBER/CloudTrail/${region}/${year}/${month}/${day}
и получается при создании новой ${day} директории, нужно обновить partition для таблицы Athena?
Вот недавно смотрел видосик по разбору crawler и получается что да, если не нужно менять метаданные, в настройках поставить галку обновить партии
буду благодарен если поделитесь сорсом на норм видос
Ссылки запрещены, How to Use Glue Crawlers Efficiently to Build Your Data Lake Quickly - AWS Online Tech Talks в ютубе. В целом AWS Online Tech Talks прикольный канал
Обсуждают сегодня