184 похожих чатов

Добрый день, подскажите как можно ускорить забор кликхаусом из кафки?

Есть стандартная схема с таблице на движке kafka, MV и результирующей таблицей. Проблема что записи в результирующую таблицу поступают с задержкой минимум 2-5 минут, в пиках когда рейт записи в кафку повышается задержка может до 20 минут доходить. Пробовал увеличивать kafka_max_block_size, докидывать в топик партиций и поднимать количество консумеров, но особого эффекта это не дало. Такое ощущение что есть еще какое то фиксированное ограничение :( По мониторингу ресурсы на сервере есть, нельзя сказать что все упирается в память или ЦПУ. Куда еще можно покопать?

1 ответов

11 просмотров

для начала сказать 1. какая у вас версия КХ. 2. какой рейт в строках и в байтах. 3. какая летенси от КХ до брокера (время пинга)

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта