с ограниченным сроком действия, например полчаса, и запускается спарк джоба, которая долго выполняется, например час, и поданный ей на вход токен может истечь, а спарк в самом конце пишет что-то в s3, он же сломается из-за истекшего токена?
У кого-нибудь был опты работы со спарком и aws temporary credentials?
sdk крутит тред, в котором токены обновляет
Я нашёл только такое в документации https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Using_Session_Credentials_with_TemporaryAWSCredentialsProvider The lifetime of session credentials are fixed when the credentials are issued; once they expire the application will no longer be able to authenticate to AWS.
Обсуждают сегодня