батчинг, даешь ему модель а дальше голова не болит
https://github.com/huggingface/text-generation-inference
Под Винду нет?
ну докеру все равно где запускаться, под винду чуть геморнее
Ну на Винде не пробросить видюху внутрь докера ?
https://www.docker.com/blog/wsl-2-gpu-support-for-docker-desktop-on-nvidia-gpus/
Обсуждают сегодня