из 20 топиков кафки, везде конфиг подключения к кафке одинаковый, но с двумя топиками есть проблема: идет постоянная перевычитка из кафки, в таблицу ложатся дубли (х10, х20, больше), но консюмер лаг по консюмер группе клика не падает, а просто всегда равен текущему кол-ву сообщений в топике. В логах клика примерно раз в 5-10 минут видим сообщения "[rdk:SESSTMOUT] [thrd:main] Consumer group session timed out (in join-state steady) after 10296 ms without a successfull response from the group coordinator (broker: 2, last error was Broker: Group rebalance in progress): revoking assignment and rejoining group". То есть общий механизм перевычитки понятен - консюмер КХ не может закоммитить вычитанное из-за таймаута, постоянно переподключается, перевычитывает, опять отваливается, и т. д.
Вопрос же у меня такой: а почему это может происходить только с двумя топиками, но не с остальными 18-ю?? Остальные топики имеют и большее, и меньшее количество партиций, права на сбойные топики абсолютно такие же. Ошибки о таймауте для каждого сбойного топика идут от разных брокеров. По другим топикам (среди них есть и значительно более нагруженные) таких проблем нет. Почему? Как починить, или хотя бы куда посмотреть? Спасибо.
например может быть что-то такое, но найти причину может быть не просто - жирные сообщения которые долго процессятся, может json большой парсите - много мат вью на 1 топике, долго вставка проходит во все таблицы - джойны в матвью, долго вставка проходит во все таблицы - каскадные матвью, какая-то вьюшка падает в конце с ошибкой и не даёт закомитать
> Если есть свежая проблема с тысячным счетчиком Это что-то новое?
Обсуждают сегодня