Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Будет ли антипаторном если я буду читать кафку батчево спарком?
Просто из за ряда ограничений в инфре это самый лёгкий способ на данный момент.
Может ли Спарк прижил комитить чекпрйнты автоматически или мне надо будет самому велосипедить ?
7 ответов
а че сримминг не хочешь? поставил пожирнее maxOffsetPerTrigger вот тебе и батч.
может, spark streaming + Trigger.Once() + указать checkpointLocation на небольших объемах выглядит весьма удобно хз, антипаттерн ли это
🦦
Автор вопроса
У меня нету инфры для шедулинга стриминга по этому и не хочу его брать + версия спарка старая
У меня нету инфры для шедулинга стриминга по этому...
а для шедулинга батча есть? чем они отличаются?
кафке поплохеет. диск и нетворк кафки будут страдать - страдать будут все продюсеры и консюмерв
кафке поплохеет. диск и нетворк кафки будут страда...
Всё-таки не понимаю, если держать список оффсетов, то где нагрузка?
Всё-таки не понимаю, если держать список оффсетов,...
если в топике накапливается пара терабайт даты за то время, пока мы из топика не читаем, то при чтении весь этот бэклог даты польется из кафки а наш апп. обычным не отстающим консьюмерам кафка дату отправляет из памяти, а не с диска. такой консьюмер, читающий много старой даты с диска вызовет не только забитие ресурсов сети, но и забитие ресурсов диска в итоге кафка станет медленнее писать на диск
Похожие вопросы
Обсуждают сегодня