184 похожих чатов

Подскажите, что можно птюнить в репликации, чтобы успевала разгребаться replication_queue.



У нас около 100 кафка таблиц.
В кластере 2 машины, одинаковых по железу. На каждой ноде по одной связке kafkaEngine -> Mat.View -> Table. на каждый кафка топик.
В топике 2 партиции. Каждая нода клики читает 1 партицию (num_consumers=1)
Каждая таблица Table (в которую сливается стрим из кафки) реплицирована на 2 ноды.

Получается, что каждая нода КХ читает половину топика и реплицирует ее на вторую ноду.

На одной ноде (на одной и той же) >1000 здач в replication_queue стабильно.. На ней background_schedule_poll_siz = 128

Или моожет что не так делаем?

5 ответов

14 просмотров

вы из MV вставляете в ReplicatedMergeTree? или в Distributed? kafka_thread_per_consumer какой в настройках Kafka таблицы? размер батча kafka_max_block_size ? сколько в итоге записей в секунду вставляется?

Oleksandr-Ryzhenko Автор вопроса
Slach [altinity]
вы из MV вставляете в ReplicatedMergeTree? или в D...

из MV в ReplicatedMergeTree kafka_thread_per_consumer и kafka_max_block_size не меняли - дефолтные рейт сообщений по всем топикам ~ 3.5k - 4k сообщений в сек (пиковые). Нормальный режим - ~1k/sec

Oleksandr Ryzhenko
из MV в ReplicatedMergeTree kafka_thread_per_consu...

а записей туда сколько по мониторингу кафки? что вообще мониторинг говорит про нагрукзу на диски и на сколько InsertRows в system.metrics ? ReplicatedMergeTree одна и та же?

Oleksandr-Ryzhenko Автор вопроса
Slach [altinity]
а записей туда сколько по мониторингу кафки? что в...

вот вижу скачек Inserted rows per second на той ноде, на которой все нормально - 100к. Обычная нагрузка ~1k/sec наверное после него и пошли проблемы с replication_queue на второй реплике. UPD: Хотя, это не закономерномть. Очередь накапливается ибез таких всплесков

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Мужики. привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных элементов...
Kraszx
2
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Всем привет! Кто пользуется DevExpress, подскажите пожалуйста, реализован ли в TcxGrid в новых версиях поиск по датам как в Экселе (ну т.е. не просто список чекбоксов со значе...
A Z
4
Карта сайта