184 похожих чатов

А если кидать в кролика, а того воткнуть в кх

через engine=rabbitMQ?

8 ответов

8 просмотров

Ну вот я думаю в сторону кролика или кафки, но хотел услышать пару мнений. Кто как справлялся.

David Gobronidze
Ну вот я думаю в сторону кролика или кафки, но хот...

kafka расчитана на милисекундную летенси (внутри DC). Иначе надо делать cross-region репликацию (продьюсер и брокер внутри одного DC) <-- океан --> (брокер и консьюмер внутри другого DC)

Denny [Altinity]
kafka расчитана на милисекундную летенси (внутри D...

Да, примерно так и представляю. Напрямую в заокеанскую очередь писать не планирую. Никогда ничего подобного не делал на таких расстояниях, посему туплю и присматриваюсь к вариантам. Например, не очень понимаю, как именно работает та самая cross-region репликация в нужном мне виде. Мне не нужно две копии очередей в US и EU. Мне нужно куда-то записать в US, чтобы оно потом перекинуло с гарантиями в EU и оттуда кликхаус это прочел. Также мне нужно, чтобы из EU я тоже писал в EU (и чтобы это не летело в US), и кликхаус оттуда прочел.

David Gobronidze
Да, примерно так и представляю. Напрямую в заокеан...

Отличное ТЗ, берете и делаете. Из коробки у Кафки есть мироринг из одного кластера в другой,но на практике работает плохо. Самое простое это написать что нужно самим. Там все ровно как написано выше: читаете, пишите куда вам там надо и все. Между eu и us лучше вычитывать пачку, сжимать и отправлять, вот и все

Kirill Shvakov
Отличное ТЗ, берете и делаете. Из коробки у Кафки ...

Есть еще у кафки confluent и они умеют between-continent kafka

David Gobronidze
Да, примерно так и представляю. Напрямую в заокеан...

надо немного уточнять про гарантии, но звучит как раз как сценарий сипользования mirror-maker https://kafka.apache.org/documentation/#basic_ops_mirror_maker (т.е. условно он вам подойдет если у вас нет задачи точного попадания заданного сообщения в заданную партицию + нет проблем с переупорядочиванием и дублированием событий, ибо они могут вычитыватся не в том порядке в котором поступали и могут возникать дубли )

Kirill Shvakov
Отличное ТЗ, берете и делаете. Из коробки у Кафки ...

Всячески хотелось этого избежать и завестись с полуполпинка. Окей, спасибо. На всякий случай посмотрим еще confluent/kafka и проч. на практике, иначе напишем сами. Всем спасибо за ответы.

Похожие вопросы

Обсуждают сегодня

Сообщение* в закодированном виде. То есть, просто сделать sendMessage?text=Привет бла-бла! не получится, надо в HEX переводить, и добавлять процент, типа такого: sendMessage?t...
КТ315
21
А случайно нет ли в паскале штатной возможности передать указатель и количество туда где array of в качестве аргумента?
zamtmn
25
всем трям! Кто-нибудь работал со связкой werf + harbor + trivy ? Во время сборки образа выходит ошибка "PROJECTPOLICYVIOLATION: current image with "Pending" status of vulnerab...
Авессалом
11
Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
58
Только такой if ($modx->event->name == 'OnBeforeCartItemAdding') { $meta = $params['item']['meta']; $lang = $modx->getConfig('_lang'); // проверяем, задана ли опция i...
Multi Web
1
Всем привет. Испытываю проблемы в работе БД, а именно огромного роста логов, такого характера: 024-05-16 18:39:07 +05 sentry sentry [unknown] 1050169 7-1 app-sentry01.corp.ru>...
Alexey
2
Ну раз я пока тут, задам пару глупых вопросов. Зачем писать на ассемблере если компилятор довольно умный, а ассемблер много времени занимает? В каких прикладных задачах сейчас...
Максим Рябцев
20
Хм. А телеграм апи работают через HTTP?
The Bird of Hermes
14
Почему Telegram пишет, что объект media не найден, хотя на самом деле я его передаю? Делаю на urllib, без зависимостей, так надо. Вызываю метод sendMediaGroup с таким JSON: ...
Alexey S
1
Здравствуйте, а хорошая ли идея смешивать нейронки? То есть, у нейронки задача щелкнуть 1 раз, но есть датасет с одним типом картинок и с другим. Хотелось бы сделать универсал...
Никита
5
Карта сайта