источников. Будем называть их провайдерами, и пусть они будут обозначены P1, P2 и P3.
Сейчас эти провайдеры пишут сообщения в MQ. Далее эти сообщения разбирает некий collector, преобразует в общий формат и кладет обратно в MQ. Назовем этот сервис C1.
Далее крутятся еще 3 сервиса, которые забирают сообщения из MQ от C1 обрабатывают их и отправляют во внешний мир.
Меня смущает использование MQ для коммуникаций. Как мне кажется для OTP приложений это лишнее ? Но MQ дает какие-то гарантии что сообщение будет доставлено и обработано. В OTP же можно передавать сообщения между процессами, по модели Акторов. Как всегда принимаем в расчет что любой из сервисов может упасть в какой то момент. Конечно этим займется Supervisor. Но волнует то что если сервис упал на обработке сообщения, то оно как правило пропадает из mailbox и сервис дальше обрабатывает следующее. В идеальной ситуации стоит записать куда-то что на таком то сообщении сервис упал, попробовать еще 3 раза и если все плохо, взять следующее. Если идти Erlang-way то тут мы можем использовать вместо MQ свою реализацию на ETS/DETS ? или Mnesia ? Или это все параноя и MQ в этой архитектуре не лишний ?
Перекладывать из очереди в очередь... MQ не очень про это, как мне кажется. Для подобных вещей лично я взял бы http://storm.apache.org/ . А bolt для шторма с нужной логикой написал бы на Clojure.
Обсуждают сегодня