сервиса, использующего нейронные сети.
Какими инструментами вы пользовались ? Как вы это параллелили ?
В данный момент использую Flask, но возникают проблемы ,когда одновременно приходит > 4 запросов.
В примерах, что я находил, модель объявляют и инициализируют глобально. Можно инициализировать при каждом вызове метода (да, дорого), но тогда cudamalloc failed: out of memory.
у меня через фласк вызывается другой питоновский скрипт, а до этого проверяю запущен ли он (если да, то не больше 4 процессов) через subprocess.check_output
Хм, у меня никаких проблем не возникает
https://t.me/ru_flask
Спасибо!
Обсуждают сегодня