которого — принять и обработать данные. Принимает по http, кладет в бд, которая исполняет роль FIFO-буфера, а потом в другом потоке оттуда их достает и обрабатывает. Обычно обьем буфера — максимум 1000 штук. Но иногда что-то случается, и буфер сначала вырастает до десятков тысяч, а потом обработка останавливается вообще.
Этого не случается на низкой нагрузке, но стабильно случается, если пакетов больше десятка в секунду. Но от нагрузки напрямую не зависит — не упираемся ни в процессор, ни в память, ни в диск, ни в сеть. И нагрузка всегда одна и та же, нет пиков. Просто часами работает нормально, а потом оп, и все.
У кого-нибудь есть идеи, куда копать? Тарантул 1.10
а может наоборот? файбер обработчик где-то дохнет (а вы за ним плохо следите), а потом и буфер растет
в общем, дело было в http-запросах, сохраняющих данные в инфлюксе которые по недосмотру, блокировали пайплайн обработки.
Обсуждают сегодня