через engine=rabbitMQ?
Ну вот я думаю в сторону кролика или кафки, но хотел услышать пару мнений. Кто как справлялся.
kafka расчитана на милисекундную летенси (внутри DC). Иначе надо делать cross-region репликацию (продьюсер и брокер внутри одного DC) <-- океан --> (брокер и консьюмер внутри другого DC)
Да, примерно так и представляю. Напрямую в заокеанскую очередь писать не планирую. Никогда ничего подобного не делал на таких расстояниях, посему туплю и присматриваюсь к вариантам. Например, не очень понимаю, как именно работает та самая cross-region репликация в нужном мне виде. Мне не нужно две копии очередей в US и EU. Мне нужно куда-то записать в US, чтобы оно потом перекинуло с гарантиями в EU и оттуда кликхаус это прочел. Также мне нужно, чтобы из EU я тоже писал в EU (и чтобы это не летело в US), и кликхаус оттуда прочел.
Отличное ТЗ, берете и делаете. Из коробки у Кафки есть мироринг из одного кластера в другой,но на практике работает плохо. Самое простое это написать что нужно самим. Там все ровно как написано выше: читаете, пишите куда вам там надо и все. Между eu и us лучше вычитывать пачку, сжимать и отправлять, вот и все
Есть еще у кафки confluent и они умеют between-continent kafka
надо немного уточнять про гарантии, но звучит как раз как сценарий сипользования mirror-maker https://kafka.apache.org/documentation/#basic_ops_mirror_maker (т.е. условно он вам подойдет если у вас нет задачи точного попадания заданного сообщения в заданную партицию + нет проблем с переупорядочиванием и дублированием событий, ибо они могут вычитыватся не в том порядке в котором поступали и могут возникать дубли )
Всячески хотелось этого избежать и завестись с полуполпинка. Окей, спасибо. На всякий случай посмотрим еще confluent/kafka и проч. на практике, иначе напишем сами. Всем спасибо за ответы.
есть чат https://t.me/proKafka
Обсуждают сегодня