185 похожих чатов

А неужели на Erlang не написали ничего аналогичного apache flink

или kafka streams? Кажется, что очень удобно было бы делать снапшоты состояния операторов, если каждый оператор это процесс, то просто State можно сеарелизовать на диск.

6 ответов

31 просмотр

возможно мимо но все таки https://www.rabbitmq.com/streams.html

Matwey-Kornilov Автор вопроса
Evgeniy Terekhin
возможно мимо но все таки https://www.rabbitmq.co...

Это не совсем то. Речь идёт о потоковой обработке данных. И пока мы делаем тупой map, то все хорошо, но на нём далеко не уедешь. А если хочется усреднить события по времени, или сделать join двух потоков, то необходимо хранить состояние оператора на случай падения и перезапуска.

Matwey-Kornilov Автор вопроса
Evgeniy Terekhin
оператор это что?

Оператор это тот код, который преобразует один поток (потоки) сообщений в другой поток сообщений.

Удобно сказать, осталось замерять сколько по времени будет занимать снэпшот состояния после каждого получения сообщения.

А зачем делать снэпшоты? Kafka streams что делает снэпшоты?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Карта сайта