Есть стандартная схема с таблице на движке kafka, MV и результирующей таблицей. Проблема что записи в результирующую таблицу поступают с задержкой минимум 2-5 минут, в пиках когда рейт записи в кафку повышается задержка может до 20 минут доходить. Пробовал увеличивать kafka_max_block_size, докидывать в топик партиций и поднимать количество консумеров, но особого эффекта это не дало. Такое ощущение что есть еще какое то фиксированное ограничение :( По мониторингу ресурсы на сервере есть, нельзя сказать что все упирается в память или ЦПУ. Куда еще можно покопать?
для начала сказать 1. какая у вас версия КХ. 2. какой рейт в строках и в байтах. 3. какая летенси от КХ до брокера (время пинга)
Обсуждают сегодня