Всем привет. Кто-то сталкивался с таким, что спарк периодически (не

Question

Всем привет. Кто-то сталкивался с таким, что спарк периодически (не

всегда) создает партишен в партишене? Проблема, по факту, такая же как здесь, но что-то ответов нет:
https://stackoverflow.com/questions/52992455/spark-creates-extra-partitions-inside-partition

Использую spark 2.4.3, glue 1.0

может ли это каким-то образом быть связано с eventual consistency s3?

#aws #database #russian #software

0

22.05.2020

2 ответов

18 просмотров

Victor Tur

https://hadoop.apache.org/docs/r3.0.3/hadoop-aws/tools/hadoop-aws/s3guard.html поглядеть на это. И прочитать вот эту статью, объясняющую почему нужен s3guard: https://www.opendoor.com/w/blog/why-s3guard-with-s3-as-a-filesystem-spark а еще ты плохо искал на stackoverflow: https://stackoverflow.com/questions/53376090/spark-s3-eventual-consistency-issues

0

22.05.2020

Victor Tur · Accepted Answer

Victor Tur

напрямую, тебе нужен слой между s3 и спарк

0

22.05.2020

61 похожих чатов

Всем привет. Кто-то сталкивался с таким, что спарк периодически (не

2 ответов

Похожие вопросы