В конфиге кафки прописаны параметры log.retention.bytes=1073741824 log.cleanup.policy=delete У меня есть два топика: A

и Б.

У топика А — 12 партишенов и фактор репликации 3.
У топика Б — 4 партишена и такой же фактор репликации.

Смотрю непосредственно на файлы партишенов


/var/log/kafka/A-0 -- 2,0G /var/log/kafka/A-0
/var/log/kafka/A-1 -- 2,1G /var/log/kafka/A-1
/var/log/kafka/A-10 -- 2,5G /var/log/kafka/A-10
/var/log/kafka/A-11 -- 2,3G /var/log/kafka/A-11
/var/log/kafka/A-2 -- 1,8G /var/log/kafka/A-2
/var/log/kafka/A-3 -- 2,1G /var/log/kafka/A-3
/var/log/kafka/A-4 -- 1,5G /var/log/kafka/A-4
/var/log/kafka/A-5 -- 2,6G /var/log/kafka/A-5
/var/log/kafka/A-6 -- 2,2G /var/log/kafka/A-6
/var/log/kafka/A-7 -- 2,1G /var/log/kafka/A-7
/var/log/kafka/A-8 -- 2,6G /var/log/kafka/A-8
/var/log/kafka/A-9 -- 2,5G /var/log/kafka/A-9

Вопрос: почему даже при указании Кафке на то, что размер партишена должен быть 1 Gb, после чего нужно производить ротацию с удалением, файлы логов занимают больше 2Gb?

2 ответов

31 просмотр

Мне кажется тут надо тюнить segment.bytes или segment.ms , у меня недавно была аналогичная проблема и это помогло

Setplus-Mac Автор вопроса
M Com
Мне кажется тут надо тюнить segment.bytes или segm...

То есть если я хочу, чтобы один партишен занимал НЕ БОЛЕЕ 1 Gb, то устанавливать segment.bytes в 1073741824?

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Карта сайта