Ребят, всем привет, подскажите пожалуйста, куда копать. Есть определенный процесс(как

Question

Ребят, всем привет, подскажите пожалуйста, куда копать. Есть определенный процесс(как

действие), который запускается по расписанию или любому другому триггеру. В рамках этого процесса запускаются какие-то задачи, потом еще и еще, это очень похоже на граф вычислений, и так пока всё не выполнится. В рамках задачи могут быть созданы другие задачи. Я смотрел в сторону Apache Airflow, но там DAG, а в моем кейсе могут быть циклы. Есть ли какие-то готовые инструменты для подобных задач?

#oop #programming #russian #software #web-design

0

22.11.2023

4 ответов

36 просмотров

Alex Ted

https://github.com/PrefectHQ/prefect https://github.com/contribsys/faktory

0

23.11.2023

Denis Obolensky Автор вопроса

Владимир
Имхо это просто для работы с очередями воркерами т...

Я в целом посмотрел, что у меня да как. Есть некоторый run (по сути группа задач). Есть общая какая-то очередь задач job queue, в которую кладутся задачи - например, по триггеру кладется задача А, потом по ее результатам - несколько задач вида B, каждая из которых кладет либо новые задачи вида B с другими параметрами, либо еще какие-то другие виды задач C. run завершается, когда завершаются все ассоциированные с ним задачи. По сути классический job queue Естественно, что хочется для упрощения работы запускать это все на множестве машин. Хочется также отслеживать эти самые runs, при возможности иметь какой-то dashboard У меня есть PoC на SQS, но как-то чувствую, что изобретаю велосипед))

0

23.11.2023

Alex Ted

Denis Obolensky
Я в целом посмотрел, что у меня да как. Есть нек...

Ну, таких фреймворков до ж

0

23.11.2023

Владимир · Accepted Answer

Владимир

Имхо это просто для работы с очередями воркерами такое себе Айрфлоу в целом на dag'ах А что за циклы? Может быть тебе подскажут как без них обойтись

0

22.11.2023

212 похожих чатов

Ребят, всем привет, подскажите пожалуйста, куда копать. Есть определенный процесс(как

4 ответов

Похожие вопросы