Vitalik

Коллеги, привет! Только начинаю знакомство со спарком, не смог нагуглить ответ, подскажите плз. Если задать креды на чтение s3 при создании сессии, все ок conf.set('spark.ha...

Коллеги, всем привет! У меня есть airflow (уже развернутый и работающий) и готовый локально docker контейнер со spark логикой. Мне нужно, чтобы airflow для определенной таски...

Коллеги, привет! Помогите пожалуйста с записью из КХ (managed, 3шарда) в S3 в яндекс облаке В КХ есть raw табличка, которая наполняется трансфером в режиме репликации (стрими...

Ребят, всем привет! Помогите пожалуйста с настрйоками кафки У меня сервер с эирфлоу (12 ядер, 48гб ОЗУ), который раз в час запускает чтение сообщений из КХ и отправку их в ка...

Всем привет! Подскажите пожалуйста, насколько удаление партиции синхронная операция? Задача сделать etl идемпотентным. Думаю делать это с помощью: - alter table drop partitio...

Коллеги, привет! Помогите с ошибкой пожалуйста Есть источник, который хочу загрузить в спарк query: | select order_id , transaction_id , c...

Всем спасибо, что откликнулись. Вижу такую настройку в кластере, но при нажатии чекбокса будто бы не дофига новых вещей нужно настроить. т.е., насколько я понимаю, положить с...

Всем привет! Подскажите пожалуйста, не могу понять один концептуальный момент по взаимодействию с registry. Вводные: У меня есть два типа сообщений со своей avro схемой для к...

Коллеги, всем привет! У меня вопрос по циклам и динамическому sql. Это возможно в CH? Пример: Мне нужно проитерироваться по списку таблиц и собрать пары имя-количество строк...

Ребят, всем привет! Подскажите пожалуйста концептаульно про отправку батчами. У меня есть большой лист json'ов: list_of_msgs = [{msg1}, {msg2}, {msg3}...{msgN}] я создаю пр...

Ребят, подскажите пожалуйста первый раз работаю с кафкой. Задача отправлять в нее элементы pandas df, в avro формате Вопросы: 1) если честно по запросам "pandas df to kafka"...

Коллеги, всем привет! Подскажите пожалуйста, как сконвертить NaN в Null? Nullif(field, NaN) почему-то возвращает NaN. Тип поля Float32 Хотя, когда я делал тестовый запрос s...

Ребят, всем привет! Перешел с kafka-python на confluent-kafka И не могу отправить сообщение. Вернее продьюсер создается, сообщение отправляется, ошибок нет, flush в конце дел...

Ребят, всем привет! Python, библиотека kafka-python. Вопрос такой: Отправляю джейсоны в кафку, большое количество. Сперва отправлял list джейсонов вот так: kafkaproducer.se...

Ребят, всем привет. Объясните дураку. Где в якорной модели хранятся атрибуты связей? Пример: Таблица Заказ, таблица Товар, количество товара В звезде: 1) Таблица заказов 2)...