170 похожих чатов

Привет. Есть задача принимать сообщения по HTTP, и складывать их

в AWS SQS.
Я построил такую архитектуру приложения
1. Сообщение принимает httpHandler и кладет его в queue = make(chan string, 3000).
2. Отдельная ко-рутина забирает по одному сообщению и собирает из сообщений батчи по 10 штук, далее складывает эти батчи в еще одну batchQueue
3. 50 воркеров (ко-рутин) слушают batchQueue и пушат батч-сообщения в SQS.

Проблема в том, что я не могу пробить границу в 500 сообщений в секунду. Подскажите, может кто сталкивался? Может архитектура неправильная? Как обрабатывать больше 1000 сообщений?

5 ответов

2 просмотра

надо профайлить посмотрите где затык, в каком месте

50 воркеров кажется неоптимальным

зачем нужен пункт #2? и что будет, если приложение упадёт? сообщения в канале потеряются?

добавь больше воркеров, а лучше сделай больше размер батча

ты проверял, что в принципе можешь писать в скс больше 500 сообщений?

Похожие вопросы

Обсуждают сегодня

Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
67
Do any of you guys have interesting projects one could join? I'm a Middle Full-Stack developer (JS/TS, React & Node)
Lev Shapiro
40
$res = json_decode($наша строка из респонса); $res1 = array_map(fn($o) => $o->name, $res->breadcrumbs[0]->entities); Как такое будет на Хаскеле?.. В начале весь джейсон, в ко...
Хаскель Моисеевич Гопник
27
В чем сила брат, в NASM или FASM?
Isaac Kleiner
18
Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
11
Хтось використовував Vapor на Windows?
Jaroshevskii
15
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
Тут кста кто-нибудь NeoVim использует?
Simple Sorcerer
13
Оба варианта в целом подходят, но скорее создание конфликтной ситуации (на пустой основе). В прошлый раз он сказал мне про ESP32, я забыл про этот микроконтроллер, ошибся, я п...
КТ315
4
Карта сайта