тупик, так как не хватает компетенции при работе с реббитом
Подскажите, пожалуйста, какие существуют проблемы с памятью и потенциальные возможности раздуть потребление памяти при работе с реббитом?
Мой кейса такой
Парсим маркетплейсы
При сборе остатков наши поды в кубере резко растут в памяти до 2-5гб, после чего кубер их отстреливает и часть сообщений теряется из-за неконсистентности реббита
При этом, если поток сообщений не очень большой, то тамять используется в пределах 200-500мб, но когда все сообщения обрабатываются, то в оперативке остается какой-то мусор, который GC убрать не может
Я работаю на NodeJS с библиотекой amqplib
А накоплений в очередях нет? А то может там просто миллионы сообщений копится
Поды с реббитом растут по памяти или ваши консьюмеры?
Обсуждают сегодня