В конфиге кафки прописаны параметры log.retention.bytes=1073741824 log.cleanup.policy=delete У меня есть два топика: A

и Б.

У топика А — 12 партишенов и фактор репликации 3.
У топика Б — 4 партишена и такой же фактор репликации.

Смотрю непосредственно на файлы партишенов


/var/log/kafka/A-0 -- 2,0G /var/log/kafka/A-0
/var/log/kafka/A-1 -- 2,1G /var/log/kafka/A-1
/var/log/kafka/A-10 -- 2,5G /var/log/kafka/A-10
/var/log/kafka/A-11 -- 2,3G /var/log/kafka/A-11
/var/log/kafka/A-2 -- 1,8G /var/log/kafka/A-2
/var/log/kafka/A-3 -- 2,1G /var/log/kafka/A-3
/var/log/kafka/A-4 -- 1,5G /var/log/kafka/A-4
/var/log/kafka/A-5 -- 2,6G /var/log/kafka/A-5
/var/log/kafka/A-6 -- 2,2G /var/log/kafka/A-6
/var/log/kafka/A-7 -- 2,1G /var/log/kafka/A-7
/var/log/kafka/A-8 -- 2,6G /var/log/kafka/A-8
/var/log/kafka/A-9 -- 2,5G /var/log/kafka/A-9

Вопрос: почему даже при указании Кафке на то, что размер партишена должен быть 1 Gb, после чего нужно производить ротацию с удалением, файлы логов занимают больше 2Gb?

2 ответов

7 просмотров

Мне кажется тут надо тюнить segment.bytes или segment.ms , у меня недавно была аналогичная проблема и это помогло

Setplus-Mac Автор вопроса
M Com
Мне кажется тут надо тюнить segment.bytes или segm...

То есть если я хочу, чтобы один партишен занимал НЕ БОЛЕЕ 1 Gb, то устанавливать segment.bytes в 1073741824?

Похожие вопросы

Обсуждают сегодня

Портфолио: Зовут меня Александр, мне 36 лет. Город Пушкино. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github....
Magic
10
Портфолио: Зовут меня Александр, мне 41 год. Город Киров. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github.co...
Magic
11
Подскажите, пожалуйста, где в backende, или не в нем можно дату поправить? Логирует действия не в том часовом поясе
Лео
7
Всем привет В общем надо на странице вакансии вывести вакансии с hh, но когда я пишу код в разделе Code ошибка Invalid URL format. The URL should start with the forward slash...
A da
1
Есть магистры regex в чате? Задача: нужно написать regex который мэтчит полные (без сокращений по типу ::1/128) ipv6 адреса кроме 2001:0df7:cef7:29f7:52f7:adf7:2cf7:4ff7, при ...
Илья
5
Приветствую всех, есть вопросик. Передали проект на OctoberCms, без инсталяшки в полуразвернутом виде, нужно было залить бекап бд, после залития бд, оказалось, что части строк...
Лео
14
мне как апи hh написать?
A da
3
Привет! Подскажите может кто сталкивался, при создании купона выходит вот в таком виде окно. Как поправить это?
Ruslan
4
где собака, админ группы? нычкуется и боится проявить волю, в толерантность еще не наигрался? @yelizariev
Ognezar
61
Помните я тут рассказывал про таролога программистку? Мне выдали новый мем
Magic
6
Карта сайта