Всем привет! Решил значит разгрузить брокер, который утилизировал диски в 100%

из-за того, что на нем оказалось больше всего партиций и второй день уже партиции не могут перенестись и макс лаг держится в районе 100 млн на каждой ноде.
Что можете посоветовать в этом случае?

4 ответов

6 просмотров

Если несколько реплик и другие брокера менее загружены, то можете попробовать сместить лидеров на другие брокера. Если не изменяет память, новые реплики тянут данные с лидера

Nazar- Автор вопроса
Nazar
Есть какой-то штатный функционал?

Если никаких тулзов не используете, то kafka-reassign-partitions: в него нужно передать нужный конфиг (первая реплика в списке - имеет наибольший приоритет). Дальше запустить kafka-leader-election (или как-то типа kafka-prefered-partitions) с флагом preferred - это должно перекинуть лидеров на нужные (предпочтительные) брокера.

Nazar- Автор вопроса
Sergey Andreyev
Если никаких тулзов не используете, то kafka-reass...

Лидер элекшен на сколько я помню при отставаниях лучше не запускать. В целом проблему свою поборол лимитами, вроде догоняются и как минимум половина партиций уже досинкались

Похожие вопросы

Обсуждают сегодня

if (user?.choseType === 'oneDay') { await ctx.reply( 'Добро пожаловать в команду «Магнита»! Правда, на один день ☺️ ', ); await ctx.s...
Kokni
1
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Это фейк @cruppto_newbot?
Antskup
13
всем салют сегодня утро заметил что бот не может отправлять фотки по url. ручками в браузере ссылка норм открывает фотки. падает ошибка 'Bad Request: failed to send message ...
Vasya Ivanov
9
ребят, привет. за какое время бот полученную заявку на вступление в группу может принять \отклонить? Помню речь была про 5 минут, сейчас как?
Роман Ромашин :)
10
вопрос: кто как решает вопрос с динамической подгрузкой скриптов для отдельных страниц с включенным turbo router?
Sergei Toroptsev
25
Доброго времени суток. Правильно ли я понимаю, что с введением новой платежной единицы stars, я просто могу оставить текущую платёжку от Юкассы, которая выполняется на сайте с...
Prokhor Chulkov
7
Добрый день! Не подскажете как к модели Категории Шопоголика добавить отношение Тейлора. Пробовал по документации, но не получается. Мб уже кто-то делал?
Николай Афанасенко
6
Сonst magicTgHTML = (text, entities) => { let processedText = text; let offsetShift = 0; entities.forEach(entity => { const { offset, length, type, url, ...
Андрей
1
@veranikaEU получилось? Можно увидеть рабочий код?
Alex Kom
8
Карта сайта