действие), который запускается по расписанию или любому другому триггеру. В рамках этого процесса запускаются какие-то задачи, потом еще и еще, это очень похоже на граф вычислений, и так пока всё не выполнится. В рамках задачи могут быть созданы другие задачи. Я смотрел в сторону Apache Airflow, но там DAG, а в моем кейсе могут быть циклы. Есть ли какие-то готовые инструменты для подобных задач?
Имхо это просто для работы с очередями воркерами такое себе Айрфлоу в целом на dag'ах А что за циклы? Может быть тебе подскажут как без них обойтись
https://github.com/PrefectHQ/prefect https://github.com/contribsys/faktory
Я в целом посмотрел, что у меня да как. Есть некоторый run (по сути группа задач). Есть общая какая-то очередь задач job queue, в которую кладутся задачи - например, по триггеру кладется задача А, потом по ее результатам - несколько задач вида B, каждая из которых кладет либо новые задачи вида B с другими параметрами, либо еще какие-то другие виды задач C. run завершается, когда завершаются все ассоциированные с ним задачи. По сути классический job queue Естественно, что хочется для упрощения работы запускать это все на множестве машин. Хочется также отслеживать эти самые runs, при возможности иметь какой-то dashboard У меня есть PoC на SQS, но как-то чувствую, что изобретаю велосипед))
Ну, таких фреймворков до ж
Обсуждают сегодня