Есть приложение на kafka-streams. Обогащает один поток данных данными из

state store. Change log включен. Приложение может стабильно работать несколько дней, иногда недель. Но наступает момент, когда state store очищается и данные первого потока остаются необогащенными. Все реализовано через Processor API. В логах сообщений об ошибках нет. Перезагрузка приложения не помогает. Помогает только удаление changelog топиков. Но проблема воспроизводится и если выключить логирование. Переход на global store решает, но данных обогащения очень много, приходится памяти вагон выделять, приложение стартует медленно. Сталкивался ли кто с подобным? Может знаете куда смотреть?

1 ответов

18 просмотров

А почему state store очищается? Такого не должно быть. После перезагрузки данные должны заново зачитаться в стор и все должно быть ок.

Похожие вопросы

Обсуждают сегодня

Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
всем привет помогите пожалуйста используя CDN (GCP) у игроков из вьетнама загружается конфиг (размер 999 bytes) загружается 5 и более минут н а других CDN сервисах такой пробл...
Andrew Krw.
1
Добрый день. Мне посоветовали обратиться к вам в чат за помощью. Ситуация описана на скрине. Как мне сказали, мне на бота навесили флудвейт. Есть ли возможность снять его ра...
OVERLINK
7
Просто по очереди выпиливаешь на ручной маппинг? По методу за раз
Andrii Kurdiumov
7
И? Все равно глазами проверять надо каждое поле
Andrii Kurdiumov
4
Ну есть у нас десяток компаний которым надо. Остальным то зачем?
Andrii Kurdiumov
4
Приветствую. А не подскажете какие ограничения есть на использования api метода setMyName ? Несколько раз сменил имя бота и получил бан на 2 месяца на смену имени.
Slick Slack
8
Всем привет! Взялся портировать модули на 18 версию, лезет _logger.log(log_level, 'no translation language detected, skipping translation %s', frame, stack_info=True) А чт...
Max Lit
3
что значит рваность? фргаментированость?? для лох эт нормальное состояние. там сжатие редкое явление
Mikhail Lomonosov
1
Привет, коллеги! Возникла задача ограничить максимальный размер вложений для определённых расширений, например, чтобы для изображений лимит был 10 МБ, а для видео — 100 МБ. Ог...
Andro
1
Карта сайта