185 похожих чатов

А неужели на Erlang не написали ничего аналогичного apache flink

или kafka streams? Кажется, что очень удобно было бы делать снапшоты состояния операторов, если каждый оператор это процесс, то просто State можно сеарелизовать на диск.

6 ответов

24 просмотра

возможно мимо но все таки https://www.rabbitmq.com/streams.html

Matwey-Kornilov Автор вопроса
Evgeniy Terekhin
возможно мимо но все таки https://www.rabbitmq.co...

Это не совсем то. Речь идёт о потоковой обработке данных. И пока мы делаем тупой map, то все хорошо, но на нём далеко не уедешь. А если хочется усреднить события по времени, или сделать join двух потоков, то необходимо хранить состояние оператора на случай падения и перезапуска.

Matwey-Kornilov Автор вопроса
Evgeniy Terekhin
оператор это что?

Оператор это тот код, который преобразует один поток (потоки) сообщений в другой поток сообщений.

Удобно сказать, осталось замерять сколько по времени будет занимать снэпшот состояния после каждого получения сообщения.

А зачем делать снэпшоты? Kafka streams что делает снэпшоты?

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
Подскажите, а есть vault lite или ченить такое?) А то нужен вольт для похода в вольт, но весит он ~500 мб) как-то многовато для парочки запросов ))
Alexandr Orloff
17
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Карта сайта