Всем привет. Подскажите пожалуйста про многопоточность у консьюмеров. Правильно ли

я понимаю, что эквивалентно, когда из 3 партиций читает 3 консьюмера и из 3 партиций читает один консьюмер у которого concurrency 3?

8 ответов

5 просмотров

зависит от имплементации клиентской части у консьюмера какую библиотеку используете?

tetro_gramatone
Spring kafka

в общем и целом - да за исключением менеджмента соединений и подобных оптимизационных вещей.

tetro_gramatone- Автор вопроса
George Bolshakov
в общем и целом - да за исключением менеджмента с...

Еще такой момент услышал, что в принципе если партиций 10 и указать поток 100 То спринг сделает все по умному и будет использовать только 10 потоков Это верное утверждение?

tetro_gramatone
Еще такой момент услышал, что в принципе если парт...

вот это не знаю, надо курить доки, ну или проверять. или еще кто подскажет тут

tetro_gramatone
Еще такой момент услышал, что в принципе если парт...

Это не заслуга spring, а логика работы Kafka - в рамках одной group.id не может быть больше одновременно работающих потребителей, чем количество партиций так что возможно что spring и поднимет 100 потоков, но данные будут поступать только к 10 из них, остальные будут спать

Alexander Kapustin
Это не заслуга spring, а логика работы Kafka - в р...

ну, тут вопрос в том, что вот в одном потоке получили данные, а потом их обработку не параллелит ли спринг? я с большой долей уверенности могу сказать, что нет но лучше перепроверить.

Похожие вопросы

Обсуждают сегодня

коллеги привет. уже второй день бьемся об заклад с одной ошибкой, может вы сталкивались с таки странным поведением? есть тестовый сервер, на который паблишим релизную версию W...
Magzhan
11
Господа, а как такое в миграцию засунуть?
Денис Александрович
12
кто тебе сказал, что она угроблена? многие только начинают жизнь, после увольнения из Гугла, Майкрософта, Оракла,...
Alex Kom
9
Так а кто может спарсить всех участников чата? Идишники
Magic
18
В альтернативе у нас сидеть горбатиться на дядю в галерах, пока не помрешь или пока тебя не заменят более молодым сотрудником, который готов гребсти в два раза дешевле. Вот и ...
Кабан Кабанов
7
Желаю получить совет от великих ботмейкеров которые успешно поднимали ботов на несколько тысяч одновременно активных юзеров Какая чушь нужна людям прямо сейчас, и что стоило ...
ռɛ ʋɛʀʍօʀɛ
6
да пофиг на капчу зашел в чат и молчишь при этом ты нонейм? пошел вон
Magic
17
Слушайте, а при создании навигации на Tailor рили нельзя определять активный пункт навигации, как в Static Pages?
Pavel Lautsevich
6
Мне вот интересно jwt токен для подключения сторонего сайта к оду норм идея?
Andrij Moskivets
6
Какой максимальный размер caption у сообщений с фото? И учитываются ли в подсчете тэги форматирования? (<i>, <b>...)
Anton Shvets
4
Карта сайта