184 похожих чатов

Ребят, привет! КХ 20.10.5.10 Кластер на 4 ноды. (2 шарда, 2 реплики) На

каждой ноде есть Kafka таблицы, подключенные к одному и тому же топику. В топике 12 партиций.
Когда делаю матвью на эту табличку — все ноды берут себе по 3 партиции все выглядит хорошо. Но спустя какое-то время партиции могут перебалансироваться и уже 3 ноды будут использовать по 4 партиции, а 4я нода начинает слать ошибки типа:
<Warning> StorageKafka (my_topic): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.
Быват случаи когда две или одна нода могут забрать на себя все партиции, а остальные начинают сыпать ошибками.

Подскажите пожалуйста, кто-то с таким сталкивался? Как это можно решить?

3 ответов

10 просмотров

вы параметры в самой кафке меняли дефолтные? похоже у вас при ребалансе брокер ждет очень мало времени чтобы назначить партиции консьюмерам, и они не успевают заявить что им тоже надо. либо в КХ в кафка таблицах num_consumer > 1

Volodymyr-Bunchuk Автор вопроса
Denny [Altinity]
вы параметры в самой кафке меняли дефолтные? похож...

Спасибо! Понятно теперь куда копать. >либо в КХ в кафка таблицах num_consumer > 1 нет, везде по одному >вы параметры в самой кафке меняли дефолтные? По параметрам кафки уточню у девопсов. Не заведую ею.

Volodymyr-Bunchuk Автор вопроса
Denny [Altinity]
вы параметры в самой кафке меняли дефолтные? похож...

А не подскажите, какой параметр в конфиге брокера за это может отвечать?

Похожие вопросы

Обсуждают сегодня

Такой вопросец - есть функция function MySuperDuperConcat(const a: array of AnsiString): AnsiString; Как мне в её теле сделать вот так? Result:=Concat(a); А не грустный вариан...
notme
15
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
48
type TObj = object procedure Init; virtual; end; TObj1 = object(TObj) procedure Init; override; end; procedure TObj1.Init; begin inherited; end; procedur...
Alexander 👋
29
А чем вам питонисты не угодили?😂
.
79
Вот смотрите у меня есть два стрима сейчас fs, cs: TStream; fs := TFileStream.Create('filename'); cs := TCompressionStream.Create(compression_level, fs); Я хочу сделать так: ...
notme
5
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
83
Можно ли загрузить скрипт py в бота чтобы он работал по нему? как это сделать?
huskadam #RCC Фанат? @hitlerpvp
13
Всем здравствуйте! Я хотел узнать сколько стоит средняя месячная зарплата у Electron js разработчиков? Мне очень это важно и нужно, плиз помогите узнать эту инфу! Для Джунио...
U.K.
10
Hello. Could you please help me with finding all coordinates within a radius using a spatial index, given that I have a table with coordinates? SET @lng = 37.57925; SET @lat ...
Rinchin G
8
free(NULL) это UB?
#
8
Карта сайта