Похожие чаты

Ребят, у кого есть опыт размещения моделей на инференс на

GPU - есть ли глобально разница на какой гпу размещать модель - на tesla t4, RTX 2080ti, NVIDIA Quadro если памяти нужно ну скажем 11гб на модель? Эти все видеокарты есть у облачных провайдеров, но какую лучше выбрать, может какая-то из них более эффективна на инференсе, а друга на обучении?

11 ответов

5 просмотров

Надо выбирать карту опираясь на ТЗ. Если совсем поверхностно, то: чем больше VRAM, те больше батч можно обрабатывать при обучении и инференсе; чем больше ядер куда и выше compute capability, то можно предположить, что тем и быстрее инференс. Но тут еще вопрос оптимизации модели под конкретное железо. Без понимания входных данных и требований по работе нельзя ответить какой карты тебе будет достаточно, какой не хватать, а какая будет с избытком.

Модель работает в mixed precision?

Vic- Автор вопроса
Pavel Shiriaev
Надо выбирать карту опираясь на ТЗ. Если совсем по...

уже протестили модель pytorch, она работает даже на 1080ti , на t4, tv100 - по ощущениям одинаково, то есть тут вопрос нагрузки, когда юзеров станет 100 что будет?

Vic
уже протестили модель pytorch, она работает даже н...

2080ti будет быстрее 1080ti если модель запустить в mixed precision

Лис Электронщик
2080ti будет быстрее 1080ti если модель запустить ...

она и без mixed precision скорей всего будет быстрее

Vic
уже протестили модель pytorch, она работает даже н...

сделать тест на работу при 100 параллельных пользователях

Лис Электронщик
не особо

https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/ просто первую ссылку открыл, первый график

Бери где больше памяти, у меня был кейс когда не хватило памяти и на одном из бачей упало с сиггкилом

Похожие вопросы

Обсуждают сегодня

For managing user-generated content rights in gaming? 🤯🚀
Brian
37
Do we have a Chinese community here?
迪迦
20
@Aiwan что такое база образца?
Alexey
27
Why binance delisting the token?
🅰🅽🅳🆁🅴🆆
14
Не многие знают, а кто знает, тот уже успел забыть, что в далёком 2004 году эта игра произвела настоящий фурор, настолько революционной была технология, применяемая для её соз...
ICCID
4
Короче я тут узнал полный пиздец Что кучу постов которые я создавал через posted Спустя время не могу редактировать и менять Мол телега возвращае ошибку Это реально так ...
inc.
13
Hi is Atomic wallet safe to exchange btc to xmr?
Regex
20
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
I have LUSD tokens but they haven't pegged back to a dollar. Is there a reason why?
Harry the Hexican
14
Is UniBright Freequity an active live product ? A friend here in Asia was discussing the Tokenisation of RWA’s in his case Real Estate as he’s a developer with numerous overs...
Digital Trust
5
Карта сайта