У меня есть система обогащения CRM системы через step function,

Question

У меня есть система обогащения CRM системы через step function,

запуск происходит сразу нескольких тысяч выполнений webhook -> lambda function -> stepfunction, проблема в том что в таком случаи я делаю те же самые несколько тысяч запросов к API за одну секунду, что приводит к ошибкам.
Вопрос: как грамотно можно добавить задержку для step function что бы выполнения стартовали по 1 с интервалом в 3-5 секунд?

#aws #database #russian #software

0

27.07.2023

5 ответов

10 просмотров

Life Edition Автор вопроса

std::mpa 🇺🇦
если нужно именно на уровне степфункции, то видел ...

а какие тогда? Я думал сохранять данные для старта в SQS а потом через него триггерить каждую секунду по 1 записи, но оно сразу все что приходит - все и отдает в лямбда функцию, но возможно я нужной настройки не нашел?

0

27.07.2023

Yury Alexandrov

SQS это хорошо. Причем его можно использовать как перед степ функцией, так и как шаг отправки в самой функции. Еще можно использовать kinesis firehose для батчинга и обрабатывать кусками.

0

27.07.2023

Life Edition Автор вопроса

Yury Alexandrov
SQS это хорошо. Причем его можно использовать как ...

а можно как-то сделать так, что бы SQS триггерил лямбду функцию и отправлял по 1 элементу в 1 секунд?

0

27.07.2023

Yury Alexandrov

Life Edition
а можно как-то сделать так, что бы SQS триггерил л...

Да, fifo очередь, одинаковый group id для всех сообщений и секундная задержка в лямбде

0

27.07.2023

std::mpa 🇺🇦 · Accepted Answer

std::mpa 🇺🇦

если нужно именно на уровне степфункции, то видел как-то в блоге AWS имплементацию семафоры на степфункциях. https://github.com/aws-samples/aws-stepfunctions-examples/tree/main/sam/app-control-concurrency-with-dynamodb P.S.: можно и нужно использовать другие инструменты :)

0

27.07.2023

61 похожих чатов

У меня есть система обогащения CRM системы через step function,

5 ответов

Похожие вопросы