Привет! Такая проблема: консьюмер потерял сообщение. На бэке всего 2

партишена. Поможет ли увеличение числа партишенов в топике и в консьюмере? TTL ~30 сек, т.к. сообщение не было обработано, Кафка не получала подтверждение от консьюмера и не могла удалить сообщение

4 ответов

15 просмотров

Сорри, не заметил про 30 сек. Это ретенш настроен так? Что вы хотите добиться увеличением партиций?

olga-arapova Автор вопроса
Denis Vlasov
Сорри, не заметил про 30 сек. Это ретенш настроен ...

Да. Нужно, чтобы сообщения не терялись. Почти половина от общей массы исчезла, по нагрузке все ок: сервис юзает половину доступных ресурсов, но есть скачки. Есть три реплики. Вроде все должно быть ок, по крайней мере, стабильно работало до недавних пор. По логике, увеличение партиций несильно поможет, но не понятно, где вообще искать.

olga arapova
Да. Нужно, чтобы сообщения не терялись. Почти поло...

Для начала включите еще консюмеров. Натравите каждый на свою партицию и читайте паралельно из всех партиций. Кафка удаляет согласно ретеншену, стоит 30 сек - значит все что старше в топку

Кафка хранит топики сегментами с ротацией по умолчанию 7 дней или 1Гб. Возможно вы превысили объём 1Гб и консюмер не успел обработать записи из удалённого сегмента.

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Карта сайта