софтину на кластере для сбора и обработки очереди сообщений. Смысл: сообщеньки падают откуда-то извне и гарантировано сохраняются, у них есть атрибут "дата отправки". С какой-то периодичностью должны селектиться сообщения, которые на данный момент ждут отправки. В результате некоторого процесса либо обновляется запись в очереди (ошибка, следующая попытка через икс), либо сообщение покидает очередь.
Что можно использовать? На кластере со Спарком hbase и kudu, но они не очень подходят под это дело. Желательно не сильно жрать ресурсы, время работы компромиссное - не реалтайм, но и не сутками.
Делать очередь на каждое время отправки и сделать шедулер, который будет эти сообщения по очередям перекладывать.
Обсуждают сегодня