складывать уже отшардированные данные при этом писать сразу мимио distributed таблицы, ну типа чтобы не гонять еще раз данные между хостами и не нагружать хосты с distributed тамблицами.
насколько я вижу нельзя указать точно номер партиции в кафке, появляется мысль только явно писать в разные топики и на каждом шарде читать из своего топика . или может есть более правильный способ?
Ну способов действительно немного, Либо топик на каждый шард. Либо писать в Distributed Либо в MV сделать условие на ключ шардирования(но это такой себе вариант)
Обсуждают сегодня