Supervisord systemctl status [almalinux@123 supervisor]$ sudo systemctl status supervisord × supervisord.service -

Question

Supervisord systemctl status [almalinux@123 supervisor]$ sudo systemctl status supervisord × supervisord.service -

Process Monitoring and Control Daemon
Loaded: loaded (/usr/lib/systemd/system/supervisord.service; enabled; vendor preset: disabled)
Active: failed (Result: oom-kill) since Sat 2023-08-19 02:55:12 PDT; 5h 7min ago
Duration: 1month 18h 16min 56.573s
Process: 229371 ExecStart=/usr/bin/supervisord -c /etc/supervisord.conf (code=exited, status=0/SUCCESS)
Main PID: 229372 (code=exited, status=0/SUCCESS)
CPU: 9h 52min 9.723s

Aug 19 02:55:00 123 systemd[1]: supervisord.service: A process of this unit has been killed by the OOM killer.
Aug 19 02:55:12 123 systemd[1]: supervisord.service: Failed with result 'oom-kill'.
Aug 19 02:55:12 123 systemd[1]: supervisord.service: Consumed 9h 52min 9.723s CPU time.
Notice: journal has been rotated since unit was started, output may be incomplete.

supervisord log
2023-08-19 02:55:12,514 INFO stopped: worker_deamon (terminated by SIGKILL)
2023-08-19 02:55:12,517 INFO stopped: caller_deamon (terminated by SIGTERM)
2023-08-19 02:55:12,519 INFO stopped: synchronization_deamon (terminated by SIGTERM)

Всем привет, сегодня произошло неожиданное.
В supervisord - 3 скрипта. Один из них вчера обновили. В коде была ошибка или пришло неожиданно много данных.
В результате в 2-55 supervisord - был убит системой. Как следствие нужные скрипты не отработали, что было не приятно и неожиданно.
Сегодня как разобрался в причине, стал думать какие еще непредвиденные ситуации могут произойти, надумал следующее:
1. supervisord - может быть убит системой из за потребления запущенными процессами слишком большого количества RAM.
2. mysql - может перестать работать.
3. сервер может потерять соединение с интернет.

Подскажите пожалуйста бест практис для этих ситуаций, как мониторить и слать себе смску/звонок в случае падения п.1,2,3
Баш скрипт? Или специальный софт.
Также хотелось бы собирать историю потребления процессами памяти/cpu. И смотреть ее в более/менее удобном виде.