Kafka для data processing вместо Spark, если типичные задачи для Spark — это агрегации? То есть прилетели данные в CH из кафки, MV тригернулось, данные доагрегировались, CH отправил эти агрегаты в другой топик Кафки...
Ногами сильно не пинайте, просто размышляю.
За Спарк не скажу. Кафка и mv работают прекрасно
Можете привести примеры, для каких конкретно случаев? Возвращаете ли вы назад в Кафку результат работы MV?
Ну приходит миллиард транзакций день условно На таблицу повесили mv нужные для 5 агрегаций разных, например Я думаю, что можно повесить на эти таблицы с агрегациями другие mv, которые уже будут продюсить в кафку
Обсуждают сегодня