169 похожих чатов

Есть 3 приложения на Elixir, которые тянут данные с определенных

источников. Будем называть их провайдерами, и пусть они будут обозначены P1, P2 и P3.
Сейчас эти провайдеры пишут сообщения в MQ. Далее эти сообщения разбирает некий collector, преобразует в общий формат и кладет обратно в MQ. Назовем этот сервис C1.
Далее крутятся еще 3 сервиса, которые забирают сообщения из MQ от C1 обрабатывают их и отправляют во внешний мир.
Меня смущает использование MQ для коммуникаций. Как мне кажется для OTP приложений это лишнее ? Но MQ дает какие-то гарантии что сообщение будет доставлено и обработано. В OTP же можно передавать сообщения между процессами, по модели Акторов. Как всегда принимаем в расчет что любой из сервисов может упасть в какой то момент. Конечно этим займется Supervisor. Но волнует то что если сервис упал на обработке сообщения, то оно как правило пропадает из mailbox и сервис дальше обрабатывает следующее. В идеальной ситуации стоит записать куда-то что на таком то сообщении сервис упал, попробовать еще 3 раза и если все плохо, взять следующее. Если идти Erlang-way то тут мы можем использовать вместо MQ свою реализацию на ETS/DETS ? или Mnesia ? Или это все параноя и MQ в этой архитектуре не лишний ?

1 ответов

3 просмотра

Перекладывать из очереди в очередь... MQ не очень про это, как мне кажется. Для подобных вещей лично я взял бы http://storm.apache.org/ . А bolt для шторма с нужной логикой написал бы на Clojure.

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
База данных не поможет. Шифрование не поможет. Какие там ещё варианты? Накидывайте.
КТ315
20
А табстоп это сообщение от окна или от элемента управления?
The Bird of Hermes
18
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
26
Открыл свой двухкилобайтный экзешник в x32dbg, а тут какая-то хрень. Смущает кнопка "выполнить до пользовательского кода", а что ещё может быть в файле помимо него ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
11
Мне были интересны дишные хаки и я нашёл любопытный способ на форуме через __traits, что-то вроде int delegate(int) fac = (int n) => n == 0 ? 1 : n * __traits(parent, {})(n - ...
Constantin F.
1
Вопрос тем кто смотрит видео и слушает подкасты - как вы потом ищете нужную вам информацию? Вот статью я прочитал, потом могу искать нужную мне часть банальным поиском. Пропус...
Aleksandr Druzhinin
4
Всем привет, подскажите/посоветуйте пожалуйста. Фаердак компоненты, имею одно место где бизнес хочет видеть при открытии формы список всех клиентов, это порядка 30к. Мои дово...
Sasha Sch
14
Ребят, если кто в курсе - скажите, а в загранке такое же засилье маркетплейсов? или там простые сермяжные интернет-магазины живут попроще?
Андрей [aharito] Харитонов
14
Коллеги, доброе утро. Запустил на удаленном хосте приложение (ручками зашел туда по ssh и запустил, не командой удаленно). Создал потом ssh-туннель, и с моей машины приложение...
Δημήτηρ
9
Карта сайта