Data Engineers

Подскажите , а звезду кх вывезет?

Я обещал запилить FAQ по Data Cooker ETL. Запиливаю. Q. Что это такое? A. Специализированный инструмент для а) быстрого создания ETL процессов и б) эффективного по стоимост...

Q. Ну так в чём проблема хранить JSON в поле? Схему задал, и вперёд. A. Так в датакукере схему вообще задавать не нужно, он изначально schema-less. Если нужно обратиться к ат...

Салют ! У двух шардов в кх общий интерфейс при подключении на отдельном сервере должен быть?

Всем привет. Я тут делаю первый раз в жизни DWH (кажется) и к сожалению я (с on hands опытом только в PG и пайтоне) самый опытный на проекте, так что сам придумываю дизайн. Мо...

Чтобы разрабатывать на кафке баша хватит или джава нужна?

Предложили из бекендера, стек (java/groovy) перейти в de. Разработка etl java приложений, стек (java, nifi, airflow, hadoop). Самому интересно попробовать новые технологии, в...

Всем привет. Есть вопрос по Debezium. Он крутится в кубере, поды падают в крашлуп совершенно случайно и не системно на разных источниках данных. Есть корреляция с нагрузкой на...

Всем добрый день! Подскажите, пожалуйста, никто не работал с dbt core? А также связкой dbt с hdfs? Нужна помощь с подключением dbt к hdfs для чтения файлов

Коллеги, привет! Только начинаю знакомство со спарком, не смог нагуглить ответ, подскажите плз. Если задать креды на чтение s3 при создании сессии, все ок conf.set('spark.ha...

Приветствую. Подскажите пожалуйста кто работал с JSON в Spark. Есть N табличек (parquet), нужно по определенной логике собрать их в один большой JSON, пример: { "master_id":...

Приветствую! Можете пожалуйста подсказать: Какую архитектуру построения модели данных стоит использовать в БД clickhouse? Задача - сделать архитектуру для системы аналитики...

Сообщество, привет. Может кто-то сталкивался в синапсе с интересным эксепшном который возникает при любой экшн операции в датафрейме сделанном spark.read.synapsesql()? Эксепше...

Ребята, пожалуйста, подскажите какой курс качественнее? От стоимости абстрагируемся. Интересует достаточность знаний для перехода в DE + современность используемых инструменто...

Всем привет! Больной вопрос есть. Моя файловая система, шакалит у патриций знак равно на %3D, я читаю через протокол s3 этот партицированный датасет. Если поменять битый симв...

доброго вечера! 1С и до меня добралось... Кто-нибудь делал упражнение по автоматизации доставки данных из 1С в DWH? Поделитесь, плз, какие способы рассматривали, какой выбра...

Кто поможет тестирование сдать? Оно не сложное, 20 вопросов

Есть ли какие-нибудь (может даже опенсорс) решения для оптимизации/кэширования запросов к DWH и БД. Предположим, есть кластер ClickHouse, в который прилетает очень много запро...

Давным-давно сгенерировал curl, кот-й в джобе пентахи отрабатывал, и вчера он внезапно с валился с экзит кодом 6. Из постмана запрос отправил - он тот же самый курл сгенерил. ...

Добрый день, коллеги Посоветуйте, пожалуйста, какой архитектурный подход может быть приемлем в данной ситуации. Дано: есть S3, куда в виде паркетных файлов выкладываются данн...