возможности использовать magic commiter в DataProc?
https://cloud.yandex.ru/docs/storage/qa#qa-consistency
Magic Committer можно использовать, равно как и Directory и Partitioned. Полная консистентность листингов не гарантирована, но её уровня хватает, чтобы обходиться без S3Guard
Magic Commiter встроен в Spark 3.2. По-умолчанию в DataProc стоит 3.0.3. значит Magic Commiter добавлен в DataProc отдельно?
Он включён по умолчанию с какой-то версии, в 3.0.3 надо включать явно
Обсуждают сегодня