Вопрос не совсем про devops, но такой есть некий набор старых

Question

Вопрос не совсем про devops, но такой есть некий набор старых

приложений(linux) и bash скриптов, приложения обрабатывают файлы и генерируют другие файлы.
работать они могут как быстро(секунды), так и нескольких недель-месяцев, обычно эти приложения запускаются по цепочке, на старте им подсовывается какой то конфиг и вперед.
вопрос состоит, что поможет автоматизировать данный процесс и получить такие плюшки:
1) хранение истории всех запусков и промежуточных результатов
2) возможность что то поменять на определенном этапе и пересчитать (в отдельной ветке?) все последующие шаги.
3) наблюдать вывод в консоль в процессе вычислений
различные утилиты для ci cd не совсем подходят, потому что время работы одной программы может исчислятся десятками дней.
apache airflow тоже не особо рассчитан под долгие задания, да и там больше упор на расписание, а тут задачи запускаются руками.

#devops #programming #russian

0

10.11.2019