Сиплый

Или просто впихивает слишком много тасок в 1 хехекутор? Ну сделай хехекутор корес = 3 тоже. Будет 1 таска на хехекутор

Или его кверять будут, двухлетней давности?

Только в synchronous реплике датабазы. Этот путь полон граблей Я бы выделил use cases с реалистичными требованиями под асинхронную репликацию. Не важно, кафка ли, или реплика...

Вопрос к тем, кто со спарком уехал с ярна на к8с: оно зачем вообще в итоге? В каких смыслах стало лучше / хуже?

может, то, что вы ищете, возможно, называется ORM ( object relation mapping )? но я использовал только для oltp приложений, не для трансформаций. это еще может называться tran...

Отдавать вместе с данными хэши этих данных?

А еще вот это вот парралельное программирование - оно там зачем? Можно ж оркестратором параллельно много ямлов запускать, не?

Кто-нибудь работал с pentaho data integration? Платный который. Как оно?

Он из коробки так умеет? И как ырфлоу реагирует на дубли ивентов? А что если эрфлоу сожрал ивент, но упал.. После восстановления сможет сожрать ивент снова?

Не пытался с 1.7 на 1.9 мигрировать, например?

Greenplum норм?

но вы упомянули доступ только через лукер и jdbc. зачем вам мультиклауд?

Добрый вечер, DE. Есть вопрос риторический, но очень важный. Почему в РФ так популярен Python?))) Почему так вышло?) Вам реально нравится кому-нибудь?) Не падает ничего?

ноутбук висит.. а spark-submit с хелло ворлд?

тут странный диалог получился. - архитектор сказал, вот вам миниво - как метастор сделать? - ( ответ ) - вам бы я архитектуру не доверил 😢

и еще такой: вот у вас use case - сэмлинг. можно во всех sources, наверное, сделать select... from.. where user_id in (..) а есть еще use-cases, для которых нужны выгрузки из ...

тут в чате много участников из всякого западного крупняка. может, отпишутся а роль де.. везде какая-то своя мешанина. и в рф, и вне. в https://t.me/datajobs N раз обсуждали. ...

я юзал kinesis analytics на жаве, там есть метрики - спу, мусоросборщика, мемори.. есть ли у тетрадок подобное?

один толстый контейнер - уже smells. вы уверены, что ему вообще ресурсов хватает? дефолтные настройки ресурсов докера весьма скудные

как определить, хорошо ли машина свела?