Если вам надо, чтобы был "хвост", который должен успеть освоить

Question

Если вам надо, чтобы был "хвост", который должен успеть освоить

консьюмер - надо его оставлять в кафка.
вы можете, с другой стороны, рейтлимитер на отправке поставить, если не используете готовое решение в качестве продюсера.

либо увеличивать retention с 24 часов до 48 и более.
либо отключать его вообще,если это одни и те же строки, которые надо раздавать разным консьюмерам.

из коробки в продюсерах рейтлимитера нет, т.е. делать это надо самим

p.s. читер, тут же нельзя стикеры. или уже можно?

#kafka #russian #software

0

24.10.2023

1 ответов

10 просмотров

Никита · Accepted Answer

Не совсем понял про realtime продюсера. Дело в том, что это всё реализовано через pyspark и работает по кроне. Скрипт загружает данные из бд и загружает в kafka К сожалению, другие перечисленные варианты не подходят( Не можем это контролировать. Строки раздаём только одному консьюмеру.

52 похожих чатов

Если вам надо, чтобы был "хвост", который должен успеть освоить

1 ответов

Похожие вопросы