170 похожих чатов

Ребят, вопрос к тем у кого есть опит с kafka.

У меня в топике находится 2 миллиона сообщений, как только я запускаю консюмер он постепенно вижирает всю память. Как решить ету проблему? Дело в том что по предидущим сообщениям память еще не освободилась так как там идет некий процессинг.

8 ответов

13 просмотров

а зачем читать все сообщения, если их уже прочитали?

Andriy-Ba 🦅 Автор вопроса
Alexey Ermakov
а зачем читать все сообщения, если их уже прочитал...

ну вот представь что запушилось в кафку 1 лям сообщений за 2 секунди. Каждое сообщение делает запрос на сторонний сервис и ми ждем response. понятно что ето все происходит асинхронно, и пока ми ждем ответ, нода закидивает в стек другие задачи. И в один момент память кончается. Допустим на 50к сообщении

Andriy Ba 🦅
ну вот представь что запушилось в кафку 1 лям сооб...

окей, а зачем читать 50к сообщений, если знаешь, что память заканчивается?

Andriy Ba 🦅
ну вот представь что запушилось в кафку 1 лям сооб...

прочитал 10к, отпроцессил, прочитал следующие

Andriy-Ba 🦅 Автор вопроса

ну вот есть такой код. Как сказать чтоб по 1к сообщений в секунду максимум получать?

Andriy Ba 🦅
ну вот есть такой код. Как сказать чтоб по 1к сооб...

в хэндлере ++, в then -- перед хэндлером проверить, что счетчик не больше max

Andriy Ba 🦅
типа такого?

нет, зачем слипы перед handleMessage проверить count, внутри handleMessage увеличить, в then/catch уменьшить. ну или ожидать, когда все 1000 завершатся и флажком каким-нибудь регулировать запуск handleMessage.

Похожие вопросы

Обсуждают сегодня

Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
10
А дальше что?.. Записать в файл, потом в Код?.. И потом разбирать как-то?..
Хаскель Моисеевич Гопник
14
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
А чем вам питонисты не угодили?😂
.
79
доброго времени. db, dw и прочие исполняются при трансляции или при выполнении программы?
lutayyy
10
type TObj = object procedure Init; virtual; end; TObj1 = object(TObj) procedure Init; override; end; procedure TObj1.Init; begin inherited; end; procedur...
Alexander 👋
29
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
86
Есть предложения, как подобное можно упростить?
Hemul GM
12
@y0zhig @shizzard А можно я опишу цель и может вообще ерланг мне не подходит. На текущий момент как я понимаю у ерланга есть легковесные потоки и задача выполняется в каком т...
Дмитрий Спиридонов
5
У меня вопросик назрел. Почему, создав класс без наследования и реализации деструктора Destroy, деструктор не вызывался при free. Потом указал наследование от tobject и overri...
Сергей Бычков
9
Карта сайта