215 похожих чатов

Всем привет! Бигдата вопрос: посоветуйте решение для такого кейса. Нужно реализовать

софтину на кластере для сбора и обработки очереди сообщений. Смысл: сообщеньки падают откуда-то извне и гарантировано сохраняются, у них есть атрибут "дата отправки". С какой-то периодичностью должны селектиться сообщения, которые на данный момент ждут отправки. В результате некоторого процесса либо обновляется запись в очереди (ошибка, следующая попытка через икс), либо сообщение покидает очередь.
Что можно использовать? На кластере со Спарком hbase и kudu, но они не очень подходят под это дело. Желательно не сильно жрать ресурсы, время работы компромиссное - не реалтайм, но и не сутками.

1 ответов

3 просмотра

Делать очередь на каждое время отправки и сделать шедулер, который будет эти сообщения по очередям перекладывать.

Похожие вопросы

Обсуждают сегодня

Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
10
Тут кста кто-нибудь NeoVim использует?
Simple Sorcerer
13
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
А дальше что?.. Записать в файл, потом в Код?.. И потом разбирать как-то?..
Хаскель Моисеевич Гопник
14
доброго времени. db, dw и прочие исполняются при трансляции или при выполнении программы?
lutayyy
10
Почему никто не подсказал, что можно объявить свои типы данных, в которых меньше полей, чем в отданном джейсоне, и добавлять их по необходимости?
Strange Rabbit
10
Хтось використовував Vapor на Windows?
Jaroshevskii
15
type TObj = object procedure Init; virtual; end; TObj1 = object(TObj) procedure Init; override; end; procedure TObj1.Init; begin inherited; end; procedur...
Alexander 👋
29
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
86
Карта сайта