есть url при переходе по ней происходит запуск сервиса если он не запущен или просто перенаправление на сервис, который является входной точкой. После какого-то периода неактивности сервис останаливается. Есть ли какие-то готовые инструменты в Kubernetes или совместно с Docker для этого?
Это самый ближайший пример того что ожидается:
https://mybinder.org/
Тут происходит запуск Jupyter Notebook напрямую из репозитория.
у докера есть api для работы с ним через Unix socket
а что конкретно ожидается? есть же всякие серверлесс от амазона или faas опенстек, или это не то?
Ожидается запустить какой-то сервис на время использования, а потом он останавливается. Сервисы, например, через Docker запускаются. Сами сервисы на пистонную работу не нужны. Про это посмотрю.
сервисы это что? почему их надо останавливать, в простое они и так не будут потреблять значимое количество ресурсов
Со свободными ресурсами пока не очень у нас. Сервисы это как правило, backend с web-интерфейсом и ML логикой, которая использует GPU. Иногда рационально загружать модели сразу в память GPU и когда они не нужны, то смысла держать их запущенными нет.
А с шарингом gpu в докере все ок?
C NVIDIA Docker да
может тогда научить бекенд выгружать себя по неактивности, и оставлять заглушку какую?
Зачем заглушку, просто выходить, по выходу основного процесса контейнер стопарнется.
а кто его запустит потом?
Брокер надо корячить. :)
Обсуждают сегодня