52 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
DevsHelper DevsHelper
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
OctoberCMS OctoberCMS
ru_gitlab ru_gitlab
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Evolution CMS Evolution CMS
Odoo talks & fun Odoo talks & fun
Software Design/Architect... Software Design/Architect...
pro.buildsystems pro.buildsystems
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
.NET Group .NET Group
Google Cloud Platform_ru Google Cloud Platform_ru
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
Netbeans [RU] Netbeans [RU]
pro.kafka pro.kafka
olga-arapova

Привет! Такая проблема: консьюмер потерял сообщение. На бэке всего 2

партишена. Поможет ли увеличение числа партишенов в топике и в консьюмере? TTL ~30 сек, т.к. сообщение не было обработано, Кафка не получала подтверждение от консьюмера и не могла удалить сообщение

#kafka #russian #software
0

4 ответов

14 просмотров
Denis-Vlasov

Сорри, не заметил про 30 сек. Это ретенш настроен так? Что вы хотите добиться увеличением партиций?

0
19.08.2022
olga-arapova Автор вопроса
Denis Vlasov
Сорри, не заметил про 30 сек. Это ретенш настроен ...

Да. Нужно, чтобы сообщения не терялись. Почти половина от общей массы исчезла, по нагрузке все ок: сервис юзает половину доступных ресурсов, но есть скачки. Есть три реплики. Вроде все должно быть ок, по крайней мере, стабильно работало до недавних пор. По логике, увеличение партиций несильно поможет, но не понятно, где вообще искать.

0
19.08.2022
Denis-Vlasov
olga arapova
Да. Нужно, чтобы сообщения не терялись. Почти поло...

Для начала включите еще консюмеров. Натравите каждый на свою партицию и читайте паралельно из всех партиций. Кафка удаляет согласно ретеншену, стоит 30 сек - значит все что старше в топку

0
19.08.2022
KL-

Кафка хранит топики сегментами с ротацией по умолчанию 7 дней или 1Гб. Возможно вы превысили объём 1Гб и консюмер не успел обработать записи из удалённого сегмента.

0
19.08.2022

Похожие вопросы

pro.kafka pro.kafka / Сергей
Подписаться

Всем привет Есть у кого опыт использования MirrorMaker2 с переливом оффетов? Я делаю сейчас на своих кластерах и он чушь какую-то переливает.

#kafka #russian #software
21.07.2023
0
40 ответов
pro.kafka pro.kafka / alexander rainchik
Подписаться

Ребята, я тут уже обгуглился) может кто решал подобную задачу (кажется типичной) и сможет подсказать. Дано - aws msk, уже вовсю пару лет в продакшене, нет ни авторизации, ни ...

#kafka #russian #software
03.08.2023
0
21 ответов
pro.kafka pro.kafka / Aliaksei
Подписаться

Привет, у меня вопрос к экспертам :) Кафка старая 2.0.0 при добавлении нового сервера не меняли настройки для репликации __consumer_offsets топика (системного) но при апдейт...

#kafka #russian #software
16.11.2023
0
16 ответов
pro.kafka pro.kafka / 🦝 Katowski Kotovsky
Подписаться

А можно подробнее о платных фичах?

#kafka #russian #software
05.08.2023
0
33 ответов
pro.kafka pro.kafka / Nikolay Didenko
Подписаться

А при unclean.leader.election.enable=true если лидер пропал, то оставшиеся реплики (которые не insync) никак не смогут проголосовать и выбрать нового лидера самостоятельно? На...

#kafka #russian #software
20.11.2023
0
22 ответов
pro.kafka pro.kafka / David Smyr
Подписаться

ребят, можно сделать чтобы в кафке при получении данных она их валидировала?

#kafka #russian #software
22.08.2023
0
29 ответов
pro.kafka pro.kafka / Damian Stas
Подписаться

кто нибудь имел такую ошибку [2023-07-21 09:37:56,442] WARN [SocketServer listenerType=ZK_BROKER, nodeId=3] Unexpected error from /172.18.0.1; closing connection (org.apache.k...

#kafka #russian #software
21.07.2023
0
6 ответов
pro.kafka pro.kafka / Chnbvcb
Подписаться

Приветствую. Пускаю 3 KRaft брокера на localhost. config/kraft/server0.properties: node.id=1 controller.quorum.voters=1@localhost:9093,2@localhost:9095,3@localhost:9097 liste...

#kafka #russian #software
17.10.2023
0
5 ответов
pro.kafka pro.kafka / Sergey V
Подписаться

Коллеги, приветствую. В кафке новичок, поэтому заранее прошу прощения за возможно глупые вопросы. Есть интеграционные тесты на питоне, при их запуске поднимается kafka(3.2.3-d...

#kafka #russian #software
03.11.2023
0
2 ответов
pro.kafka pro.kafka / S P
Подписаться

получается, что если у меня в кластере будет два брокера, то это можно считать отказоустойчивостью? (на верхнем уровне) И если у меня первый брокер выходит из строя, то остав...

#kafka #russian #software
17.11.2023
0
16 ответов
Смотреть еще
pro.kafka pro.kafka
Подписаться
Вопросов 5405
Ответов 10778
Участников 3493
Telegram @proKafka

Обсуждают сегодня

Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Привет!) Кто как юзает переменные в строках?) Чисто ради интереса Вот так: echo "У меня {$bananasAmount} бананов"; Или вот так: echo "У меня ${bananasAmount} бананов";
Виталий
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
разработчик ботов скидывает портфолио, боты которые он уже создал. А вот как узнать что это именно он их создал?
Gosudar
4
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Карта сайта