Кто-Нибудь знает способ в кафке консьюмером поллить сообщения только с

Question

Кто-Нибудь знает способ в кафке консьюмером поллить сообщения только с

одной партиции, если консьюмер подписан на несколько?
То есть, у нас есть консьюмер, который подписан на топик 'test', в котором есть две партиции. Я делаю
consumer.poll(max_records=10)
и мне приезжает 10 сообщений из одной партиции обычно. Но если новых сообщений в одной партиции меньше 10, то консьюмер заглядывает еще и в другую партицию и выгребает новые сообщения еще и оттуда. Есть какой-то способ избежать такого поведения?

#backend #programming #python #russian

0

30.08.2021

17 ответов

54 просмотра

Илья Власов Автор вопроса

Tishka17
А в чем проблема с ним?

Роллбэки в случае ошибок очень тяжко делать. Изначально все роллбэки проектировались для схемы "1 консьюмер-1 партиция". Но все поменялось и чувствую, что сейчас нужно будет активно приседать начинать

0

30.08.2021

Tishka17

Илья Власов
Роллбэки в случае ошибок очень тяжко делать. Изнач...

Ну сделай количество консьюмеров по количеству партиций

0

30.08.2021

Илья Власов Автор вопроса

Tishka17
Ну сделай количество консьюмеров по количеству пар...

Я не могу( Заказчик хочет вот так вот чтобы работало

0

30.08.2021

Tishka17

Илья Власов
Я не могу( Заказчик хочет вот так вот чтобы работа...

Ну так если консьюмеров меньше чем партиций, они должны из нескольких читать

0

30.08.2021

Tishka17

А большой поток в секунду?

0

30.08.2021

Илья Власов Автор вопроса

Tishka17
Ну так если консьюмеров меньше чем партиций, они д...

Да, я просто хочу, чтобы один поллинг читал из одной партиции. Это почти так и происходит, проблемы начинаются когда не хватает новых сообщений чтобы забить max_records и консьюмер идет в другую партицию

0

30.08.2021

Илья Власов Автор вопроса

Tishka17
А большой поток в секунду?

30 тысяч

0

30.08.2021

Tishka17

Илья Власов
Да, я просто хочу, чтобы один поллинг читал из одн...

Так погоди. Если у тебя консьюмеров меньше чем партиций, у тебя или консьюмер читает из нескольких партиций или есть партиции которые никто не читает

0

30.08.2021

Tishka17

Илья Власов
30 тысяч

Понял, коммитить каждое не вариант

0

30.08.2021

Илья Власов Автор вопроса

Tishka17
Так погоди. Если у тебя консьюмеров меньше чем пар...

Консьюмер читает из нескольких. Мне нужно чтобы он мог читать из любой партиции вообще, но в рамках одного поллинга только из одной партиции

0

30.08.2021

Alex

Илья Власов
Консьюмер читает из нескольких. Мне нужно чтобы он...

Ну технически насколько я могу судить из апи клиента, так сделать можно.

0

30.08.2021

Tishka17

Илья Власов
Консьюмер читает из нескольких. Мне нужно чтобы он...

а если поднять два коннекта внутри одного приложения?

0

30.08.2021

Илья Власов Автор вопроса

Alex
Ну технически насколько я могу судить из апи клиен...

Ну можно асайн делать после каждого поллинга по кругу, но это сильно замедлит все дело( Думаю вот накостылить подсчет сколько каких сообщений из каждой партиции пришло, чтобы знать где и насколько откатить нужно будет в случае проблем

0

30.08.2021

Илья Власов Автор вопроса

Tishka17
а если поднять два коннекта внутри одного приложен...

А как это поможет? Чет я туплю и не понимаю(

0

30.08.2021

Tishka17

Илья Власов
А как это поможет? Чет я туплю и не понимаю(

будет как бы два клиента внутри одного приложения

0

30.08.2021