52 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
DevsHelper DevsHelper
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
OctoberCMS OctoberCMS
ru_gitlab ru_gitlab
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Evolution CMS Evolution CMS
Software Design/Architect... Software Design/Architect...
Odoo talks & fun Odoo talks & fun
pro.buildsystems pro.buildsystems
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
Google Cloud Platform_ru Google Cloud Platform_ru
.NET Group .NET Group
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
Netbeans [RU] Netbeans [RU]
Data Engineers Data Engineers
🦦-

Будет ли антипаторном если я буду читать кафку батчево спарком?

Просто из за ряда ограничений в инфре это самый лёгкий способ на данный момент.
Может ли Спарк прижил комитить чекпрйнты автоматически или мне надо будет самому велосипедить ?

#hadoop #russian #software
0

7 ответов

21 просмотр
Nikita B-

а че сримминг не хочешь? поставил пожирнее maxOffsetPerTrigger вот тебе и батч.

0
16.12.2021
Feodor-M

может, spark streaming + Trigger.Once() + указать checkpointLocation на небольших объемах выглядит весьма удобно хз, антипаттерн ли это

0
16.12.2021
🦦- Автор вопроса

У меня нету инфры для шедулинга стриминга по этому и не хочу его брать + версия спарка старая

0
16.12.2021
Nikita B-
🦦
У меня нету инфры для шедулинга стриминга по этому...

а для шедулинга батча есть? чем они отличаются?

0
16.12.2021
Сиплый-

кафке поплохеет. диск и нетворк кафки будут страдать - страдать будут все продюсеры и консюмерв

0
16.12.2021
Евгений-Глотов
Сиплый
кафке поплохеет. диск и нетворк кафки будут страда...

Всё-таки не понимаю, если держать список оффсетов, то где нагрузка?

0
16.12.2021
Сиплый-
Евгений Глотов
Всё-таки не понимаю, если держать список оффсетов,...

если в топике накапливается пара терабайт даты за то время, пока мы из топика не читаем, то при чтении весь этот бэклог даты польется из кафки а наш апп. обычным не отстающим консьюмерам кафка дату отправляет из памяти, а не с диска. такой консьюмер, читающий много старой даты с диска вызовет не только забитие ресурсов сети, но и забитие ресурсов диска в итоге кафка станет медленнее писать на диск

0
16.12.2021

Похожие вопросы

Data Engineers Data Engineers / Dushman
Подписаться

Подскажите , а звезду кх вывезет?

#hadoop #russian #software
08.10.2023
0
46 ответов
Data Engineers Data Engineers / Alexey Evdokimov
Подписаться

Я обещал запилить FAQ по Data Cooker ETL. Запиливаю. Q. Что это такое? A. Специализированный инструмент для а) быстрого создания ETL процессов и б) эффективного по стоимост...

#hadoop #russian #software
21.09.2023
0
3 ответов
Data Engineers Data Engineers / Alexey Evdokimov
Подписаться

Q. Ну так в чём проблема хранить JSON в поле? Схему задал, и вперёд. A. Так в датакукере схему вообще задавать не нужно, он изначально schema-less. Если нужно обратиться к ат...

#hadoop #russian #software
21.09.2023
0
5 ответов
Data Engineers Data Engineers / Dushman
Подписаться

Салют ! У двух шардов в кх общий интерфейс при подключении на отдельном сервере должен быть?

#hadoop #russian #software
05.05.2023
0
49 ответов
Data Engineers Data Engineers / Pavel Tarasov
Подписаться

Всем привет. Я тут делаю первый раз в жизни DWH (кажется) и к сожалению я (с on hands опытом только в PG и пайтоне) самый опытный на проекте, так что сам придумываю дизайн. Мо...

#hadoop #russian #software
31.07.2023
0
24 ответов
Data Engineers Data Engineers / Dushman
Подписаться

Чтобы разрабатывать на кафке баша хватит или джава нужна?

#hadoop #russian #software
12.09.2023
0
27 ответов
Data Engineers Data Engineers / Annette
Подписаться

Всем добрый день! Подскажите, пожалуйста, никто не работал с dbt core? А также связкой dbt с hdfs? Нужна помощь с подключением dbt к hdfs для чтения файлов

#hadoop #russian #software
31.10.2023
0
22 ответов
Data Engineers Data Engineers / Anton Bukreev
Подписаться

Всем привет. Есть вопрос по Debezium. Он крутится в кубере, поды падают в крашлуп совершенно случайно и не системно на разных источниках данных. Есть корреляция с нагрузкой на...

#hadoop #russian #software
12.10.2023
0
1 ответов
Data Engineers Data Engineers / Иван
Подписаться

Предложили из бекендера, стек (java/groovy) перейти в de. Разработка etl java приложений, стек (java, nifi, airflow, hadoop). Самому интересно попробовать новые технологии, в...

#hadoop #russian #software
02.10.2023
0
23 ответов
Data Engineers Data Engineers / Vitalik
Подписаться

Коллеги, привет! Только начинаю знакомство со спарком, не смог нагуглить ответ, подскажите плз. Если задать креды на чтение s3 при создании сессии, все ок conf.set('spark.ha...

#hadoop #russian #software
28.09.2023
0
15 ответов
Смотреть еще
Data Engineers Data Engineers
Подписаться
Вопросов 1585
Ответов 5598
Участников 4851
Telegram @hadoopusers

Обсуждают сегодня

Подскажите, а есть vault lite или ченить такое?) А то нужен вольт для похода в вольт, но весит он ~500 мб) как-то многовато для парочки запросов ))
Alexandr Orloff
17
Всем привет, есть небольшая проблема Есть такой скрипт document.addEventListener('DOMContentLoaded', function () { const sliderTabs = document.querySelectorAll('.s...
A da
8
@go1337 @dblackCat Привет. Все ещё дрочусь с fastpanel. Добавил второй домен который должен смотреть в рут того же сайта, но так как это просто домен, а не сайт, я не могу ему...
Ross 🦴
9
До речі, в ево нема можливості чи якого розширення щоб з адмінки з телефона зайти і терміново щось в верстці поправити?
Женя
7
кто-нибудь пользуется тайм-трекерами во время работы? так много разных нагуглил, может есть что-то популярное
Lencore
8
Пацаны. Я разрабатываю софт для инвайтинга на телетон, и столкнулся с такой проблемой, в один из чатов не могу приглашать никого, не дает добавлять, в то же время через официа...
Kernel Panic
11
Скажите, а кому нужен Currency как отдельный плагин вместо полноценного ecommerce в OctoberCMS? Кто-то использует его уже или планирует в будущем? Может я что-то не понимаю?
Igor
13
Розмовами про Рево мені нагадали часи, коли шаблони правилися прямо в адмінці. Хто в курсі, чому відійшли від цієї практики, так блейд не працює? Доволі зручно ж було (інколи)
Женя
3
Всем добрый вечер, Рад оказаться в кругу единомышленников. Начинаю погружаться в мир .net веба. Зовут Ерасыл 🖖 У меня назрел вопрос: Какой процент проектов, прошедшие через в...
Ерасыл
6
Чому? Да тому що без GiT не уявляю нормального проекта а коли код в базі то то так собі
Dmytro Lukianenko
3
Карта сайта