Ребят, обнаружил странную проблему, на сервере стоит модель Pytorch на

Question

Ребят, обнаружил странную проблему, на сервере стоит модель Pytorch на

инференс и чего-то падает, может и вам для ваших проектов полезно будет выяснить:

поставил на Амазон с GPU модель(разговорная, занимает 12гб), все работает, 2 дня работало, и быстро - шлю запросы и на апи фласк и через телеграм общение.
И вот сегодня бот перестал работать, статусы сервера на Амазоне все нормальные. В логах новых ошибок нет, все процессы в supervisor в статусе RUNNING, память выделенная на видеокарте и на рам такая же, не выросла. Не могу понять в чем фишка, особенно смущает, что нет видимых признаков, и нагрузки вроде не было большой - ну в цикле на модель направлял 20 запросов и все было норм. Если перезапускаю процессы, то все снова работает.

Не знаете в чем может быть причина?