Ребят, у кого есть опыт размещения моделей на инференс на

Question

Ребят, у кого есть опыт размещения моделей на инференс на

GPU - есть ли глобально разница на какой гпу размещать модель - на tesla t4, RTX 2080ti, NVIDIA Quadro если памяти нужно ну скажем 11гб на модель? Эти все видеокарты есть у облачных провайдеров, но какую лучше выбрать, может какая-то из них более эффективна на инференсе, а друга на обучении?

0

30.11.2020

11 ответов

12 просмотров

Лис Электронщик

Модель работает в mixed precision?

0

30.11.2020

Vic Автор вопроса

Pavel Shiriaev
Надо выбирать карту опираясь на ТЗ. Если совсем по...

уже протестили модель pytorch, она работает даже на 1080ti , на t4, tv100 - по ощущениям одинаково, то есть тут вопрос нагрузки, когда юзеров станет 100 что будет?

0

30.11.2020

Лис Электронщик

Vic
уже протестили модель pytorch, она работает даже н...

2080ti будет быстрее 1080ti если модель запустить в mixed precision

0

30.11.2020

Pavel Shiriaev

Лис Электронщик
2080ti будет быстрее 1080ti если модель запустить ...

она и без mixed precision скорей всего будет быстрее

0

30.11.2020

Vic Автор вопроса

Лис Электронщик
2080ti будет быстрее 1080ti если модель запустить ...

ок спс

0

30.11.2020

Pavel Shiriaev

Vic
уже протестили модель pytorch, она работает даже н...

сделать тест на работу при 100 параллельных пользователях

0

30.11.2020

Лис Электронщик

Pavel Shiriaev
она и без mixed precision скорей всего будет быстр...

не особо

0

30.11.2020

Pavel Shiriaev

Лис Электронщик
не особо

https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/ просто первую ссылку открыл, первый график

0

30.11.2020

Лис Электронщик

Pavel Shiriaev
https://lambdalabs.com/blog/2080-ti-deep-learning-...

>training

0

30.11.2020

✙ Infatum ✙

Бери где больше памяти, у меня был кейс когда не хватило памяти и на одном из бачей упало с сиггкилом

0

30.11.2020

Pavel Shiriaev · Accepted Answer

Надо выбирать карту опираясь на ТЗ. Если совсем поверхностно, то: чем больше VRAM, те больше батч можно обрабатывать при обучении и инференсе; чем больше ядер куда и выше compute capability, то можно предположить, что тем и быстрее инференс. Но тут еще вопрос оптимизации модели под конкретное железо. Без понимания входных данных и требований по работе нельзя ответить какой карты тебе будет достаточно, какой не хватать, а какая будет с избытком.

Похожие чаты

Ребят, у кого есть опыт размещения моделей на инференс на

11 ответов

Похожие вопросы