215 похожих чатов

Привет! Вопрос по производительности, т.к. еще никогда не пробовал запускать

так модели.

Вопрос такой, возможно ли на хоть сколько-нибудь жизнеспособном уровне запускать предтренированные модели на машинках (не для тренировки моделей, только использование) без GPU? Интересует, например, Whisper.

Цены на GPU машины просто конские (например, 1 машинка с Tesla T4 обойдется ~55k рублей в месяц). А я хочу задеплоить простенький пет-проект, чтобы просто попробовать, как это все работает в облаке. Если взять нормальный проц на 16 ядер и 16 RAM, будет ли тянуть хоть что-то?

11 ответов

32 просмотра

Виспер влезет, просто для запуска можно и whisper.cpp взять, там только CPU

А зачем вам Tesla? Люди экономят с игровыми картами. У меня Quadro A-серии. За 55 можно купить GPU карту на постоянку

.sha- Автор вопроса
Alexey
А зачем вам Tesla? Люди экономят с игровыми картам...

это да, но вы же понимаете, что managed-карта в надежном ДЦ != самопальной карточке дома, где все может рухнуть в любой момент

.sha
это да, но вы же понимаете, что managed-карта в на...

Я не предлагал самопальную)) CUDA 6 начинается с карта 1660

.sha
это да, но вы же понимаете, что managed-карта в на...

Сравните вот так (А4000 можно купить за 50-60 тыс): https://technical.city/ru/video/Tesla-T4-protiv-RTX-A4000

.sha
это да, но вы же понимаете, что managed-карта в на...

Уж не говоря про то, что сама Т4 стоит меньше 100 тыс

.sha- Автор вопроса
Alexey
Сравните вот так (А4000 можно купить за 50-60 тыс)...

Я про то, что любые конструкции дома = отказоустойчивость 0. Можно собрать дома супер компьютер, который вырубится при первом же отключении света

Я бы задеплоил дома на mac m1

Roman Ralovets
Я бы задеплоил дома на mac m1

Отличный совет после обсуждения М1 и мучений с ним)

Я бы еще порекомендовал aws sagemaker endpoint (serverless) https://aws.amazon.com/sagemaker/pricing/ и там есть free tiers, может для pet project самое то

.sha- Автор вопроса
Roman Ralovets
Я бы еще порекомендовал aws sagemaker endpoint (se...

Спасибо, но у AWS проблемы с оплатой из россии. Меня это останавливает в данный момент

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта