Есть ли какие-то альтернативы SQS, если мне надо выполнить N

Question

Есть ли какие-то альтернативы SQS, если мне надо выполнить N

тысяч запросов к внешнему API, и я не хочу его нагружать?
На данный момент написал пайплайн с помощью step functions, потом только вспомнил, что лучше не нагружать сильно. Вызов я делаю с помощью лямбды, поэтому включил для нее reserved concurrency и тут же словил фейлы RateExceeded.
Можно конечно сделать ретраи в SF, но это костыль какой-то. Вот и думаю насчет SQS теперь. Напихать несколько тысяч ивентов в очередь, а лямбда потом потихоньку пусть разгребает. В верном направлении думаю или можно со Step Functions что-то пофиксить?

#aws #database #russian #software

0

01.12.2020

10 ответов

6 просмотров

Denis

Я бы очередь взял и все. SQS или нет, не важно. Как раз главный юзкейс очереди озвучен - троттлинг

0

01.12.2020

ㅤ

динама + лямбда по расписанию с нужным таймаутом

0

01.12.2020

Viktor Mazankin

Kinesis

0

01.12.2020

Danil Автор вопроса

ㅤ
динама + лямбда по расписанию с нужным таймаутом

Кстати да. Я и так записываю часть полей ивента еще и в динамо. Можно динамо стримы в качестве очереди по идее использовать. С другой стороны доп.поля хранить не особо хочется. В общем надо подумать над этим вариантом тоже

0

01.12.2020

ㅤ

Viktor Mazankin
Kinesis

им же вроде на output

0

01.12.2020

Viktor Mazankin

ㅤ
им же вроде на output

Лямбда может и оттуда получать, на больших объемах сильно дешевле sqs

0

01.12.2020