Data Engineers

Подскажите , а звезду кх вывезет?

Я обещал запилить FAQ по Data Cooker ETL. Запиливаю. Q. Что это такое? A. Специализированный инструмент для а) быстрого создания ETL процессов и б) эффективного по стоимост...

Q. Ну так в чём проблема хранить JSON в поле? Схему задал, и вперёд. A. Так в датакукере схему вообще задавать не нужно, он изначально schema-less. Если нужно обратиться к ат...

Салют ! У двух шардов в кх общий интерфейс при подключении на отдельном сервере должен быть?

Всем привет. Я тут делаю первый раз в жизни DWH (кажется) и к сожалению я (с on hands опытом только в PG и пайтоне) самый опытный на проекте, так что сам придумываю дизайн. Мо...

Всем добрый день! Подскажите, пожалуйста, никто не работал с dbt core? А также связкой dbt с hdfs? Нужна помощь с подключением dbt к hdfs для чтения файлов

Всем привет. Есть вопрос по Debezium. Он крутится в кубере, поды падают в крашлуп совершенно случайно и не системно на разных источниках данных. Есть корреляция с нагрузкой на...

Приветствую. Подскажите пожалуйста кто работал с JSON в Spark. Есть N табличек (parquet), нужно по определенной логике собрать их в один большой JSON, пример: { "master_id":...

Предложили из бекендера, стек (java/groovy) перейти в de. Разработка etl java приложений, стек (java, nifi, airflow, hadoop). Самому интересно попробовать новые технологии, в...

Чтобы разрабатывать на кафке баша хватит или джава нужна?

Сообщество, привет. Может кто-то сталкивался в синапсе с интересным эксепшном который возникает при любой экшн операции в датафрейме сделанном spark.read.synapsesql()? Эксепше...

Ребята, пожалуйста, подскажите какой курс качественнее? От стоимости абстрагируемся. Интересует достаточность знаний для перехода в DE + современность используемых инструменто...

Коллеги, привет! Только начинаю знакомство со спарком, не смог нагуглить ответ, подскажите плз. Если задать креды на чтение s3 при создании сессии, все ок conf.set('spark.ha...

Приветствую! Можете пожалуйста подсказать: Какую архитектуру построения модели данных стоит использовать в БД clickhouse? Задача - сделать архитектуру для системы аналитики...

Всем привет! Больной вопрос есть. Моя файловая система, шакалит у патриций знак равно на %3D, я читаю через протокол s3 этот партицированный датасет. Если поменять битый симв...

доброго вечера! 1С и до меня добралось... Кто-нибудь делал упражнение по автоматизации доставки данных из 1С в DWH? Поделитесь, плз, какие способы рассматривали, какой выбра...

Давным-давно сгенерировал curl, кот-й в джобе пентахи отрабатывал, и вчера он внезапно с валился с экзит кодом 6. Из постмана запрос отправил - он тот же самый курл сгенерил. ...

Коллеги, всем привет! У меня есть airflow (уже развернутый и работающий) и готовый локально docker контейнер со spark логикой. Мне нужно, чтобы airflow для определенной таски...

Кто поможет тестирование сдать? Оно не сложное, 20 вопросов

Всем привет)) Каким приложением пользуетесь для формирования списка задач? Чтобы можно было по людям таски раскидать Компания в РФ, нужно чтобы и прога была доступна здес...