52 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
DevsHelper DevsHelper
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
OctoberCMS OctoberCMS
ru_gitlab ru_gitlab
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Evolution CMS Evolution CMS
Software Design/Architect... Software Design/Architect...
Odoo talks & fun Odoo talks & fun
pro.buildsystems pro.buildsystems
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
Google Cloud Platform_ru Google Cloud Platform_ru
.NET Group .NET Group
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
Netbeans [RU] Netbeans [RU]
pro.kafka pro.kafka
Dima-Savchenko

Всем привет! Есть такой вопрос с собеса, какие есть варианты? Есть хранилище

данных, куда постоянно пишут новые записи 10 инстансов сервиса (только добавление и чтение), получая данные из очереди (с брокером). С хранилищем требуется провести действия (например, изменение формата
хранения данных), которые занимают 15 минут и делают хранилище недоступным на этот промежуток, данные нельзя потерять за это время. Каков порядок действий?

#kafka #russian #software
0

4 ответов

13 просмотров
George-Bolshakov

1) начали работы 2) закончили работы 3) написали статью на хабр а серьезно вводных мало. если не надо менять запись данных в хранилище - то той же кафка сервисы даже гасить не обязательно. но судя по всему хотели деплой план формата: 1) убедились что в брокере хватит места с запасом 2) подготовили по надобности новую версию образа сервиса для записи вмновом формате 3) гасим сервис 4) проводим работы, проверяем доступность хранилища 5) запускаем новую версию сервиса p. s. еще можно обмазать все этапы созданием бекапов, проведением нагрузочных тестов, ух сколько можно придумать развлечений...

0
20.07.2023
Dmitry-
George Bolshakov
1) начали работы 2) закончили работы 3) написали с...

опасненько гасить сервис (смотря конечно как оно написано это грейсфул шатдаун) - может статься что он имеет автокоммит=тру и тогда кафка будет считать что отправила ему ,скажем, 10 сообщений (и запомнит это), а он успел обработать 2 (остальные в буфере), а под "гасить" сервис подразумеват exit тупой.... короче тут вопросов больше чем ответов на самом деле

0
20.07.2023
George-Bolshakov

автокоммит значит что сервис уж давно данные терял бы ведь любая ошибка сохранения в хранилище тогда эквивалентна потере данных

0
20.07.2023

Похожие вопросы

pro.kafka pro.kafka / Сергей
Подписаться

Всем привет Есть у кого опыт использования MirrorMaker2 с переливом оффетов? Я делаю сейчас на своих кластерах и он чушь какую-то переливает.

#kafka #russian #software
21.07.2023
0
40 ответов
pro.kafka pro.kafka / Aliaksei
Подписаться

Привет, у меня вопрос к экспертам :) Кафка старая 2.0.0 при добавлении нового сервера не меняли настройки для репликации __consumer_offsets топика (системного) но при апдейт...

#kafka #russian #software
16.11.2023
0
16 ответов
pro.kafka pro.kafka / alexander rainchik
Подписаться

Ребята, я тут уже обгуглился) может кто решал подобную задачу (кажется типичной) и сможет подсказать. Дано - aws msk, уже вовсю пару лет в продакшене, нет ни авторизации, ни ...

#kafka #russian #software
03.08.2023
0
21 ответов
pro.kafka pro.kafka / Nikolay Didenko
Подписаться

А при unclean.leader.election.enable=true если лидер пропал, то оставшиеся реплики (которые не insync) никак не смогут проголосовать и выбрать нового лидера самостоятельно? На...

#kafka #russian #software
20.11.2023
0
22 ответов
pro.kafka pro.kafka / 🦝 Katowski Kotovsky
Подписаться

А можно подробнее о платных фичах?

#kafka #russian #software
05.08.2023
0
33 ответов
pro.kafka pro.kafka / David Smyr
Подписаться

ребят, можно сделать чтобы в кафке при получении данных она их валидировала?

#kafka #russian #software
22.08.2023
0
29 ответов
pro.kafka pro.kafka / Chnbvcb
Подписаться

Приветствую. Пускаю 3 KRaft брокера на localhost. config/kraft/server0.properties: node.id=1 controller.quorum.voters=1@localhost:9093,2@localhost:9095,3@localhost:9097 liste...

#kafka #russian #software
17.10.2023
0
5 ответов
pro.kafka pro.kafka / Damian Stas
Подписаться

кто нибудь имел такую ошибку [2023-07-21 09:37:56,442] WARN [SocketServer listenerType=ZK_BROKER, nodeId=3] Unexpected error from /172.18.0.1; closing connection (org.apache.k...

#kafka #russian #software
21.07.2023
0
6 ответов
pro.kafka pro.kafka / S P
Подписаться

получается, что если у меня в кластере будет два брокера, то это можно считать отказоустойчивостью? (на верхнем уровне) И если у меня первый брокер выходит из строя, то остав...

#kafka #russian #software
17.11.2023
0
16 ответов
pro.kafka pro.kafka / Sergey V
Подписаться

Коллеги, приветствую. В кафке новичок, поэтому заранее прошу прощения за возможно глупые вопросы. Есть интеграционные тесты на питоне, при их запуске поднимается kafka(3.2.3-d...

#kafka #russian #software
03.11.2023
0
2 ответов
Смотреть еще
pro.kafka pro.kafka
Подписаться
Вопросов 5405
Ответов 10778
Участников 3493
Telegram @proKafka

Обсуждают сегодня

Подскажите, а есть vault lite или ченить такое?) А то нужен вольт для похода в вольт, но весит он ~500 мб) как-то многовато для парочки запросов ))
Alexandr Orloff
17
Всем привет, есть небольшая проблема Есть такой скрипт document.addEventListener('DOMContentLoaded', function () { const sliderTabs = document.querySelectorAll('.s...
A da
8
@go1337 @dblackCat Привет. Все ещё дрочусь с fastpanel. Добавил второй домен который должен смотреть в рут того же сайта, но так как это просто домен, а не сайт, я не могу ему...
Ross 🦴
9
До речі, в ево нема можливості чи якого розширення щоб з адмінки з телефона зайти і терміново щось в верстці поправити?
Женя
7
кто-нибудь пользуется тайм-трекерами во время работы? так много разных нагуглил, может есть что-то популярное
Lencore
8
Пацаны. Я разрабатываю софт для инвайтинга на телетон, и столкнулся с такой проблемой, в один из чатов не могу приглашать никого, не дает добавлять, в то же время через официа...
Kernel Panic
11
Скажите, а кому нужен Currency как отдельный плагин вместо полноценного ecommerce в OctoberCMS? Кто-то использует его уже или планирует в будущем? Может я что-то не понимаю?
Igor
13
Розмовами про Рево мені нагадали часи, коли шаблони правилися прямо в адмінці. Хто в курсі, чому відійшли від цієї практики, так блейд не працює? Доволі зручно ж було (інколи)
Женя
3
Всем добрый вечер, Рад оказаться в кругу единомышленников. Начинаю погружаться в мир .net веба. Зовут Ерасыл 🖖 У меня назрел вопрос: Какой процент проектов, прошедшие через в...
Ерасыл
6
Чому? Да тому що без GiT не уявляю нормального проекта а коли код в базі то то так собі
Dmytro Lukianenko
3
Карта сайта