Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Всем привет! Подскажите пожалуйста такой момент: Данные хранятся в s3, в формате
паркетов, необходимо, используя pyspark или spark sql, организовать upsert, по типу того же PostgreSQL. Возможно ли что-то подобное сделать? Кто-нибудь сталкивался с подобным кейсом?
4 ответов
Смотри hudi, delta
худи лучше не смотреть.. https://iceberg.apache.org/ https://github.com/delta-io/delta этих можно подружить с glue metastore и на s3 работают без переименования путей файлов (что на s3 очень медленно)
Александр
Витковский
Автор вопроса
худи лучше не смотреть.. https://iceberg.apache.o...
Слышал про delta, интересное решение. Но а какого-нибудь, пусть и костыльного, но силами самого pyspark или spark sql нет?)
Слышал про delta, интересное решение. Но а какого-...
я о таких не знаю 🤷♂
Похожие вопросы
Обсуждают сегодня