215 похожих чатов

Привет! Вопрос по производительности, т.к. еще никогда не пробовал запускать

так модели.

Вопрос такой, возможно ли на хоть сколько-нибудь жизнеспособном уровне запускать предтренированные модели на машинках (не для тренировки моделей, только использование) без GPU? Интересует, например, Whisper.

Цены на GPU машины просто конские (например, 1 машинка с Tesla T4 обойдется ~55k рублей в месяц). А я хочу задеплоить простенький пет-проект, чтобы просто попробовать, как это все работает в облаке. Если взять нормальный проц на 16 ядер и 16 RAM, будет ли тянуть хоть что-то?

11 ответов

7 просмотров

Виспер влезет, просто для запуска можно и whisper.cpp взять, там только CPU

А зачем вам Tesla? Люди экономят с игровыми картами. У меня Quadro A-серии. За 55 можно купить GPU карту на постоянку

.sha- Автор вопроса
Alexey
А зачем вам Tesla? Люди экономят с игровыми картам...

это да, но вы же понимаете, что managed-карта в надежном ДЦ != самопальной карточке дома, где все может рухнуть в любой момент

.sha
это да, но вы же понимаете, что managed-карта в на...

Я не предлагал самопальную)) CUDA 6 начинается с карта 1660

.sha
это да, но вы же понимаете, что managed-карта в на...

Сравните вот так (А4000 можно купить за 50-60 тыс): https://technical.city/ru/video/Tesla-T4-protiv-RTX-A4000

.sha
это да, но вы же понимаете, что managed-карта в на...

Уж не говоря про то, что сама Т4 стоит меньше 100 тыс

.sha- Автор вопроса
Alexey
Сравните вот так (А4000 можно купить за 50-60 тыс)...

Я про то, что любые конструкции дома = отказоустойчивость 0. Можно собрать дома супер компьютер, который вырубится при первом же отключении света

Я бы задеплоил дома на mac m1

Roman Ralovets
Я бы задеплоил дома на mac m1

Отличный совет после обсуждения М1 и мучений с ним)

Я бы еще порекомендовал aws sagemaker endpoint (serverless) https://aws.amazon.com/sagemaker/pricing/ и там есть free tiers, может для pet project самое то

.sha- Автор вопроса
Roman Ralovets
Я бы еще порекомендовал aws sagemaker endpoint (se...

Спасибо, но у AWS проблемы с оплатой из россии. Меня это останавливает в данный момент

Похожие вопросы

Обсуждают сегодня

я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
в сях есть множество как в питоне? для удаление дубликатов
Linus
25
читать файл максимально быстро? странный вопрос))
zamtmn
53
тоесть, указав return eax, сгенерируется никому ненужная инструкция mov eax,eax ?
Aiwan \ (•◡•) / _bot
24
How to create an OS in C? what to study?
Linus
18
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Всем доброго вечера! Хочу поделиться своим злоключением с человеком, который, как оказалось сюда тоже скидывал свое резюме. Жаль, что я вашу группу не нашел раньше… человек ки...
Роман Ахмедзянов
4
а как бы вылезти из ИО, что то типа IO -> Ether или в какую сторону смотреть ? что то туплю
Fedor
9
Компания Elif ищет менеджера проектов, который будет заниматься поиском и ведением новых проектов. Прежде чем приступить к работе, вам нужно пройти наш недельный курс, где вы ...
Elif
5
Привет, кто может сделать юзербота с апи? Задачи: - создавать группы - создавать каналы - задавать для созданных каналов аватарку или эмоджи, имя группы - добавлять в группы...
Lencore
11
Карта сайта