神風

А если эта программа написана на спарке?

Всем привет! Чего делать если надо сджойнить (leftouter) два потока, правый при этом не сильно интенсивный, а левый наоборот? При этом раз в n минут по триггеру хочешь - не хо...

Что ещё живо из хадупа ? Spark, yarn, hdfs?

А оно уже production ready?)

Проясните, пожалуйста, этот момент. Я правильно рассуждаю или допустил ошибку?

Всем привет. Вопрос про Ksql-server. Есть абстрактный топик my_test. Задача - построить ktable с количеством записей по дням, опираясь на ROWTIME. Для этого пришлось сделать: ...

Всем привет. Подскажите, пожалуйста, как правильно переупаковывать мелкие файлы после spark streaming, чтобы не возникало ошибок при чтении, что не хватает файлов, которые ука...

Не хочется переписывать на kafka streams. Прям хоть в правый поток генерь левые сообщения.. Может есть какой финт?

Всем привет. Подскажите, пожалуйста, есть ли возможность построить spark structured streaming на файлах на ftpS? Из коробки, как я понял нет. Может быть коннекторы какие-нибуд...

Привет. Кто-нибудь знаком с докладом https://smartdataconf.ru/talks/insert-into-clickhouse-and-not-die/, может кто-то пользовался коннектором?

Ну и напишите сервис, зачем обязательно mq?

А вот в том же ключе вопрос. А в случае ретрая упавшего таска (вроде 3 раза в дефолте) , новый таск читает диапазон оффсетов в виде отрезка[start_first_try, end_end_first_try]...

Кстати про коннекторы. Есть среди нас такие коллеги, которым удалось отреплицировать с помощью mm2 wire avro топики одного кластера в другой, не порождая новый __schemas и не...

Всем привет! Подскажите, пожалуйста, какие бесплатные варианты есть у конфлюент в плане аутентификации/авторизации в schema registry?

И чем не устраивает чтение новых записей по необходимости? ( jdbcsrc-connecor - > topic-> consumer_app)

То есть Вы зачем-то хотите прямой запрос к базе заменить на прокси в виде кафки?

Всем привет. Кто-нибудь сталкивался с такой ситуацией? kafka- console-consumer с опцией - - from-beginning ничего не читает, затем добавляешь - - partition n и сообщения сыплю...

Ну ок, есть jdbc коннекторы. Откуда требование к наличию синхронности?

С чем связана такая необходимость?

Ок, а прокси-кафка зачем?