184 похожих чатов

Добрый день. У нас отпадают консюмеры кафки. Все никак не можем

побороть.

ClickHouse server version 20.4.5 revision 54434

Sep 16 11:49:38 clickhouse-master-node clickhouse-server[46716]: %4|1600256978.523|MAXPOLL|ClickHouse 20.4.5.36#consumer-10| [thrd:main]: Application maximum poll interval (300000ms) exceeded by 109ms (adjust max.poll.interval.ms for long-running message processing): leaving group

На сервере 6 таблиц Kafka Engine. Все в одной консюмер группе, по 2 консюмера на топик/таблицу. В топиках по 2 партишна. РПС по кафке не большой - до 1000 msg/sec суммарно по всем слушаемым топикам.

В какую сторону смотреть?

12 ответов

10 просмотров
Oleksandr-Ryzhenko Автор вопроса

up

Oleksandr Ryzhenko
up

Там был когда-то баг, но вроде фиксили. Сейчас попробую найти версию где был фикс

кажется вы как-то очень неудачно подкрутили кафкины настройки

Oleksandr-Ryzhenko Автор вопроса
Oleksandr-Ryzhenko Автор вопроса
Oleksandr Ryzhenko
up

судя по всему в 19.8.1.528 был фикс, вопрос в том присутсвует ли он в вашей версии.

Oleksandr Ryzhenko
или Вы о настройках кафки в КХ?

Я о: select * from system.settings where name='stream_poll_timeout_ms';

Oleksandr-Ryzhenko Автор вопроса
Mikhail Filimonov
Я о: select * from system.settings where name='st...

name: stream_poll_timeout_ms value: 500 changed: 0

Oleksandr Ryzhenko
name: stream_poll_timeout_ms value: 5...

А сколько у вас кафка таблиц? Что показывает select * from system.metrics where metric= 'BackgroundSchedulePoolTask';

Oleksandr Ryzhenko
11 таблиц. запрос выдает 6-10

А num_consumers у всех 11 таблиц = 1 (по умолчанию) ,

Oleksandr-Ryzhenko Автор вопроса

Похожие вопросы

Обсуждают сегодня

А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
Вопрос я правильно понимаю что в коде newtype ArrowMap k v = ArrowMap { getArrowMap :: k -> Maybe v } getArrowMap есть функция типа k -> Maybe v, если да, то не понимаю задач...
Fedor
61
Продолжая диалог про свифт в проде – сейчас возник вопрос в активном наборе бекендеров. В основном в нашей компании мы фанаты Java Spring и полностью ей довольны. Однако найм ...
Guseyn
27
Как Вы считаете нормально ли в двадцатых годах 21 века в ВУЗах Российской Федерации обучать студентов работе с TASM? Не слишком ли это "архаично"? (Если оффтоп или флейм для э...
Spiker01
52
Комрады, хотел уточнить. Проперть в OnDestroy юнита-хозяина по-прежнему доступна? И еще уточнение: finalization юнита наступает раньше или позже OnDestroy?
Ed Doc
48
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Всем привет! поделитесь, пож-та, как кто дебажил / решал проблему с 504 Time out ошибкой от nginx, когда стучишься на свой vapor сервер? в логах /var/log/nginx/error.log е...
Paul
24
Привет всем. Не знаю, удачный ли чатик я выбрал для вопроса, но он как будто в целом про концепцию фп и конкретно про Haskell. Прочитал, что в целом в мире фп нет идеи мутабел...
Gellert Cringewald
15
Как добавить ссылку в Быстрый доступ в Проводнике windows 10? Нашёл, как на power shell сделать, но может есть способ через Дельфи?
А
31
@helgispbru @Dreamer_0x01 @Pathologic93 @webber_12 Не уверен, что вам всем это жутко интересно, но в продолжение недавнего диалога отправлю свои наброски. Хочу понять, правил...
Андрей [aharito] Харитонов
13
Карта сайта