данных при помощи crawler (он поддерживает redshift через JDBC connector). Потом pyspark скрипт по расписанию и connection в RDS.
А эти данные в RDS долго хранятся? Может проще выгружать в S3 и потом использовать Athena с ODBC драйвером?
Данные не просто хранятся, они раздаются на чтение. Думаю, есть ли преимущества по скорости у UNLOAD.
Athena чем лучше? По скорости не проигрывает разве? При частых запросах не дороже ли будет?
Обсуждают сегодня