52 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
DevsHelper DevsHelper
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
ru_gitlab ru_gitlab
OctoberCMS OctoberCMS
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Software Design/Architect... Software Design/Architect...
Evolution CMS Evolution CMS
Odoo talks & fun Odoo talks & fun
pro.buildsystems pro.buildsystems
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
Google Cloud Platform_ru Google Cloud Platform_ru
.NET Group .NET Group
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
Netbeans [RU] Netbeans [RU]
Data Engineers Data Engineers
Kamoliddin-Nabijonov

Стоит задача построить DWH на редшифт кластере. Предоставлены данные в

формате zip по партициям. Например. FactSales_20160501.zip, FactSales_20160601.zip и тд. Для External слоя хранилища я планирую создать External таблицы на файлах. Собственно вопрос как это можно реализовать ? Знаю что redshift умеет собирать файлы партиций в 1 единое. Внутри архивов находится по файлу формата .csv

#hadoop #russian #software
0

12 ответов

9 просмотров
Dmitry-Zuev

Можно

0
27.05.2022
Kamoliddin-Nabijonov Автор вопроса
Dmitry Zuev
Можно

Не подскажите в какую сторону копать или ссылки на статьи ?

0
27.05.2022
Сиплый-

зачем вообще нужен external слой? сору и готово

0
27.05.2022
Kamoliddin-Nabijonov Автор вопроса
Сиплый
зачем вообще нужен external слой? сору и готово

Таковы требования. Это учебный, финальный проект

0
27.05.2022
Сиплый-
Kamoliddin Nabijonov
Таковы требования. Это учебный, финальный проект

можете весь список требований дать? а то пока что кажется, что ваша задача решается десятками способов разной паршивости 🤷‍♂

0
27.05.2022
Kamoliddin-Nabijonov Автор вопроса
Сиплый
можете весь список требований дать? а то пока что ...

Есть s3 с данными и redshift. Постройте ДВХ с 4 слоями. External layer, landing layer, 3nf layer и DM layer. На базе этой ДВХ по требованям построить отчёт в power bi с основными метриками.

0
27.05.2022
Kamoliddin-Nabijonov Автор вопроса
Dmitry Zuev
Red shift не может в зипованный csv?

Зип кажись нет. Gzip и другие форматы может

0
27.05.2022
Kamoliddin-Nabijonov Автор вопроса
Dmitry Zuev
Пробуй всем, лол

gzip, lzop, or bzip2 ток

0
27.05.2022

Похожие вопросы

Data Engineers Data Engineers / Dushman
Подписаться

Подскажите , а звезду кх вывезет?

#hadoop #russian #software
08.10.2023
0
46 ответов
Data Engineers Data Engineers / Alexey Evdokimov
Подписаться

Я обещал запилить FAQ по Data Cooker ETL. Запиливаю. Q. Что это такое? A. Специализированный инструмент для а) быстрого создания ETL процессов и б) эффективного по стоимост...

#hadoop #russian #software
21.09.2023
0
3 ответов
Data Engineers Data Engineers / Alexey Evdokimov
Подписаться

Q. Ну так в чём проблема хранить JSON в поле? Схему задал, и вперёд. A. Так в датакукере схему вообще задавать не нужно, он изначально schema-less. Если нужно обратиться к ат...

#hadoop #russian #software
21.09.2023
0
5 ответов
Data Engineers Data Engineers / Dushman
Подписаться

Салют ! У двух шардов в кх общий интерфейс при подключении на отдельном сервере должен быть?

#hadoop #russian #software
05.05.2023
0
49 ответов
Data Engineers Data Engineers / Pavel Tarasov
Подписаться

Всем привет. Я тут делаю первый раз в жизни DWH (кажется) и к сожалению я (с on hands опытом только в PG и пайтоне) самый опытный на проекте, так что сам придумываю дизайн. Мо...

#hadoop #russian #software
31.07.2023
0
24 ответов
Data Engineers Data Engineers / Annette
Подписаться

Всем добрый день! Подскажите, пожалуйста, никто не работал с dbt core? А также связкой dbt с hdfs? Нужна помощь с подключением dbt к hdfs для чтения файлов

#hadoop #russian #software
31.10.2023
0
22 ответов
Data Engineers Data Engineers / Anton Bukreev
Подписаться

Всем привет. Есть вопрос по Debezium. Он крутится в кубере, поды падают в крашлуп совершенно случайно и не системно на разных источниках данных. Есть корреляция с нагрузкой на...

#hadoop #russian #software
12.10.2023
0
1 ответов
Data Engineers Data Engineers / Иван
Подписаться

Предложили из бекендера, стек (java/groovy) перейти в de. Разработка etl java приложений, стек (java, nifi, airflow, hadoop). Самому интересно попробовать новые технологии, в...

#hadoop #russian #software
02.10.2023
0
23 ответов
Data Engineers Data Engineers / Dushman
Подписаться

Чтобы разрабатывать на кафке баша хватит или джава нужна?

#hadoop #russian #software
12.09.2023
0
27 ответов
Data Engineers Data Engineers / Mark
Подписаться

Приветствую. Подскажите пожалуйста кто работал с JSON в Spark. Есть N табличек (parquet), нужно по определенной логике собрать их в один большой JSON, пример: { "master_id":...

#hadoop #russian #software
12.11.2023
0
8 ответов
Смотреть еще
Data Engineers Data Engineers
Подписаться
Вопросов 1585
Ответов 5598
Участников 4851
Telegram @hadoopusers

Обсуждают сегодня

Чет мне ссыкотно опять Rainlab.User в проект ставить. Кто знает, опять наотъебись все сделали или после обнов пользоваться можно?
Black Cat
10
Сonst magicTgHTML = (text, entities) => { let processedText = text; let offsetShift = 0; entities.forEach(entity => { const { offset, length, type, url, ...
Андрей
1
это группа токсиков или тех кто помогает?
Ибрагим
9
Можете помочь с этим, я тут использую Джанго как ОРМ для бота, но бот запускать не хочет, уже всезде перерыл не могу решить, может кто то сталкивался?
Ибрагим
4
В смысле более затратная? Общая стоимость владения лошадью меньше, чем автомобиля. В среднем.
Sergej R
10
коллеги привет. уже второй день бьемся об заклад с одной ошибкой, может вы сталкивались с таки странным поведением? есть тестовый сервер, на который паблишим релизную версию W...
Magzhan
11
всем привет. подскажите. сделал политику, он верхнеуровневая. раздал права только на TEST2 (полные). вопрос - можно ли сделать так, чтобы был доступен только TEST2, а остально...
Андрей Сергеев
5
Кстати, раз про скачивание файлов разговор зашел) Сделал бота для себя (транскрибирующего и суммаризирующего встречи) но не ожидал что за 2 месяца 10к пользователей набежит😅...
Andrey Obolenskiy
8
t.me/<username> и tg://user?id=<id> отваливаются по понятным причинам
Denis 🐍|👑 | darling! 🥰
7
Вы когда из вики.... копировали, не обратили внимание на года(ы)? 😉 ==== если до 1917 года в Москве было около 15 000 легковых извозчиков, то к 1920 году их осталось 5 000, а ...
Igor Mitin
4
Карта сайта