Добрый вечер. Кто-нибудь может что-то сказать по-поводу консистентности S3 и

возможности использовать magic commiter в DataProc?

5 ответов

12 просмотров

https://cloud.yandex.ru/docs/storage/qa#qa-consistency

Magic Committer можно использовать, равно как и Directory и Partitioned. Полная консистентность листингов не гарантирована, но её уровня хватает, чтобы обходиться без S3Guard

Владислав-Lazycat Автор вопроса

Magic Commiter встроен в Spark 3.2. По-умолчанию в DataProc стоит 3.0.3. значит Magic Commiter добавлен в DataProc отдельно?

Владислав Lazycat
Magic Commiter встроен в Spark 3.2. По-умолчанию в...

Он включён по умолчанию с какой-то версии, в 3.0.3 надо включать явно

Похожие вопросы

Обсуждают сегодня

if (user?.choseType === 'oneDay') { await ctx.reply( 'Добро пожаловать в команду «Магнита»! Правда, на один день ☺️ ', ); await ctx.s...
Kokni
1
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Может кто подсказать какие требования к изображениям для обучения Yolo v8? Как то разрешение, размер выделяемого обьекта в пикселях, оптимальное кол-во изображений. А то я пыт...
Владислав😎
16
Это фейк @cruppto_newbot?
Antskup
13
всем салют сегодня утро заметил что бот не может отправлять фотки по url. ручками в браузере ссылка норм открывает фотки. падает ошибка 'Bad Request: failed to send message ...
Vasya Ivanov
9
ребят, привет. за какое время бот полученную заявку на вступление в группу может принять \отклонить? Помню речь была про 5 минут, сейчас как?
Роман Ромашин :)
10
Доброго времени суток. Правильно ли я понимаю, что с введением новой платежной единицы stars, я просто могу оставить текущую платёжку от Юкассы, которая выполняется на сайте с...
Prokhor Chulkov
7
Есть какой нибудь ocr который хорошо читает мелкий текст?
TrL Yash?
3
Добрый день! Не подскажете как к модели Категории Шопоголика добавить отношение Тейлора. Пробовал по документации, но не получается. Мб уже кто-то делал?
Николай Афанасенко
6
вопрос: кто как решает вопрос с динамической подгрузкой скриптов для отдельных страниц с включенным turbo router?
Sergei Toroptsev
25
Карта сайта