Привет. Такая проблема: есть приложение, которое читает из Кафки и аггрегирует

Question

Привет. Такая проблема: есть приложение, которое читает из Кафки и аггрегирует

данные. Читает 5-10к сообщений в секунду.
Используется brod 3.16.5, lz4b 0.0.8 (дата в Кафке с компрессией)
Компилирую на OTP 25.0.2 — все прекрасно работает
Компилирую на OTP 25.1.2 и выше — приложение вроде работает, но в Кафке начинает драматически расти лаг, пока, собственно Кафка не посчитает консьюмеров дохлыми.
Все остальное, JIT, OS, сеть, железо — идентичное.
Пора создавать issue для erts? Или я что-то упускаю?

#erlang #it #programming #russian

0

10.05.2023

9 ответов

23 просмотра

Uokno T Автор вопроса

Danil Zagoskin
такой issue, мне кажется, могут месяцами откладыва...

* баг в эрланге или в приложении? — это и есть главный вопрос :)

0

10.05.2023

Uokno T Автор вопроса

Uokno T
* баг в эрланге или в приложении? — это и есть гла...

более того, тут еще и brod потенциальная точка отказа

0

10.05.2023

Danil Zagoskin

Uokno T
* баг в эрланге или в приложении? — это и есть гла...

и ты хочешь, чтобы на этот вопрос по твоей проблеме ответил кто-то другой?

0

10.05.2023

Uokno T Автор вопроса

Danil Zagoskin
и ты хочешь, чтобы на этот вопрос по твоей проблем...

ну, статистика работы приложения с февраля без крашей намекает на то, что дело не в нем.

0

10.05.2023

Uokno T Автор вопроса

Uokno T
ну, статистика работы приложения с февраля без кра...

прежде, оно же работало на OTP 24 также стабильно

0

10.05.2023

Uokno T Автор вопроса

такое возможно, но (!), повторюсь, у меня это же приложение с аптаймом с февраля, скомпилировано на 25.0.2 c JIT

0

10.05.2023

Danil Zagoskin

Uokno T
такое возможно, но (!), повторюсь, у меня это же п...

ты под 25.1 пересобрал код или запускаешь бимы от 25.0?

0

10.05.2023

Uokno T Автор вопроса

Danil Zagoskin
ты под 25.1 пересобрал код или запускаешь бимы от ...

пересобрал, конечно

0

10.05.2023

Danil Zagoskin · Accepted Answer

такой issue, мне кажется, могут месяцами откладывать, потому что много сложного. Если хочешь, чтобы тебе помогли, стоит сделать более глубокую диагностику. Например, так: * какая динамика потребления памяти? * какой именно вызов/процесс тормозит? * в чём причина тормозов — слишком много данных в таблице/стейте, ложное срабатывание защиты, что-то ещё? * какой процесс и какой модуль ведёт себя неадекватно? * баг в эрланге или в приложении? * маленький скрипт для быстрого воспроизведения бага на произвольном компьютере

185 похожих чатов

Привет. Такая проблема: есть приложение, которое читает из Кафки и аггрегирует

9 ответов

Похожие вопросы