Коллеги, добрый день. У меня вопрос про работу compated cleanup

Question

Коллеги, добрый день. У меня вопрос про работу compated cleanup

policy. Kafka 0.11.0.2. Используем compacted топики, в момент, когда происходит компакция, тред который её выполняет активно пишет на диск, причем, судя по blktrace, это синхронная запись по 1024 блока. Такой размер запросов на запись, в нашем случае приводит к проблемам с хранилищем. (Рекомендуют 16-64 блока) Перепробовал множество параметров - нет влияния на размер блока. Может быть сталкивались с чем то подобным? Удаление compated топиков проблему решает сразу.

#kafka #russian #software

0

09.02.2020

1 ответов

17 просмотров

Alexander Sibiryakov · Accepted Answer

Добрый день, а как бы Вы хотели чтобы это работало? Чтобы он делал больше iops, но с меньшим количеством блоков? Смотрю исходники последней Кафки, есть параметры у конструктора Cleaner, ограничивающие IO. Думаю, если сделать меньше буфер, то получите желаемый эффект. Вопрос только в том, можете ли вы обновиться.

52 похожих чатов

Коллеги, добрый день. У меня вопрос про работу compated cleanup

1 ответов

Похожие вопросы