Ну просто если используешь Спарк для стриминга - не сам

ли ты себе палки в колёса ставишь?

16 ответов

4 просмотра

А что же использовать ?

Pasha-Finkelshteyn Автор вопроса

Флинк?

нормально стриминг спарк в кубере живет хз о чем вы

Где флинк Стейт хранить будет ?

Pasha-Finkelshteyn Автор вопроса

Можно, но вот чекпойнты на хдфс)

мне кажется ты флинк не юзал; не понимаю в чем принципиальное отличие особенно сча вот о чем говорим

Pasha-Finkelshteyn Автор вопроса

Роксдб конечно

Pasha-Finkelshteyn Автор вопроса

Да он просто не прибит гвоздями к хдфс

да если у тя кубер обычно фс отдельно сча торчит

так ничо не прибито к хдфс

Pasha-Finkelshteyn Автор вопроса

Ну тут возникают проблемы со всеми этими стейтфул сетами и что делать если рэк сгорел

Любой стриминг и так и так идемпотентен должен быть

Pasha-Finkelshteyn Автор вопроса

Но чекпоинты хранить надо :) И вот если из хранить локально - возникают проблемы

если кубер не понимаю зачем что-то локально хранить)

Pasha-Finkelshteyn Автор вопроса

Ну ты сказал что диск торчит. Диск там торчит как? Либо это условный s3-like, либо локал (который может быть чем угодно)

не говорил диск торчит

Похожие вопросы

Обсуждают сегодня

А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Напомните пожалуйста, v1.1 работает на PHP 8.2?
Ross
7
А что насчет FluentValidation? тоже ведь есть альтернатива у МС.
devman
13
Ребят, всем привет) Кто юзал/юзает Postgres? Я на MySQL сделал простенький сайт для диплома, но я внезапно обнаружил условие что надо было на Postgres) Проблема в том, что я н...
Dororo Steeeve
4
Спасибо. Начну с клиент-сервер. Там разберусь И еще вопрос - можно ли как то джобы отправлять на определенные клиенты? Например есть vdi и linux машина. Можно ли задачу оправ...
Sergey Ivanov
4
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Всем привет! подскажите, кто-то использовал vault + гео-распределенный etcd-кластер (мемберы в разных цодах)? какие есть подводные камни? и стоит ли вообще такое делать?
Василиса Васильева
4
Тут кто-то шарит в мед оборудовании?
Benz
10
Всем привет. Я только начал изучать nomad и есть несколько вопросов. Я хочу развернуть 1 сервер и 1 клиент чтобы потыкаться и пощупать как работает это. А можно ли развернуть...
Sergey Ivanov
2
Карта сайта