Похожие чаты

Ребят, у кого есть опыт размещения моделей на инференс на

GPU - есть ли глобально разница на какой гпу размещать модель - на tesla t4, RTX 2080ti, NVIDIA Quadro если памяти нужно ну скажем 11гб на модель? Эти все видеокарты есть у облачных провайдеров, но какую лучше выбрать, может какая-то из них более эффективна на инференсе, а друга на обучении?

11 ответов

7 просмотров

Надо выбирать карту опираясь на ТЗ. Если совсем поверхностно, то: чем больше VRAM, те больше батч можно обрабатывать при обучении и инференсе; чем больше ядер куда и выше compute capability, то можно предположить, что тем и быстрее инференс. Но тут еще вопрос оптимизации модели под конкретное железо. Без понимания входных данных и требований по работе нельзя ответить какой карты тебе будет достаточно, какой не хватать, а какая будет с избытком.

Модель работает в mixed precision?

Vic- Автор вопроса
Pavel Shiriaev
Надо выбирать карту опираясь на ТЗ. Если совсем по...

уже протестили модель pytorch, она работает даже на 1080ti , на t4, tv100 - по ощущениям одинаково, то есть тут вопрос нагрузки, когда юзеров станет 100 что будет?

Vic
уже протестили модель pytorch, она работает даже н...

2080ti будет быстрее 1080ti если модель запустить в mixed precision

Лис Электронщик
2080ti будет быстрее 1080ti если модель запустить ...

она и без mixed precision скорей всего будет быстрее

Vic
уже протестили модель pytorch, она работает даже н...

сделать тест на работу при 100 параллельных пользователях

Лис Электронщик
не особо

https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/ просто первую ссылку открыл, первый график

Бери где больше памяти, у меня был кейс когда не хватило памяти и на одном из бачей упало с сиггкилом

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
70
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Conversation at a festival with a non-crpto person (not a normie by any stretch, though): * person: tell me about crypto, me: ok, the original idea is p2p sound money for the...
molecular#123 🐓
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
Люди добрые, помогите с идеями, потому что свои закончились. У клиента падает софтина в момент инициализации модуля OtlEventMonitor на RegisterWindowMessage('Gp/OtlTaskEvents/...
Михаил Усков
7
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
2
Today, DENT achieved a significant step forward in DENTX adoption 🥳 Getting DENTX and starting staking is much easier: DENTX is available on Uniswap! Everyone can swap their ...
Thomas
3
I bought some PHA tokens on Kucoin, which is the best wallet to store and easy to use?
AMR
19
Карта сайта