так модели.
Вопрос такой, возможно ли на хоть сколько-нибудь жизнеспособном уровне запускать предтренированные модели на машинках (не для тренировки моделей, только использование) без GPU? Интересует, например, Whisper.
Цены на GPU машины просто конские (например, 1 машинка с Tesla T4 обойдется ~55k рублей в месяц). А я хочу задеплоить простенький пет-проект, чтобы просто попробовать, как это все работает в облаке. Если взять нормальный проц на 16 ядер и 16 RAM, будет ли тянуть хоть что-то?
Виспер влезет, просто для запуска можно и whisper.cpp взять, там только CPU
А зачем вам Tesla? Люди экономят с игровыми картами. У меня Quadro A-серии. За 55 можно купить GPU карту на постоянку
это да, но вы же понимаете, что managed-карта в надежном ДЦ != самопальной карточке дома, где все может рухнуть в любой момент
Я не предлагал самопальную)) CUDA 6 начинается с карта 1660
Сравните вот так (А4000 можно купить за 50-60 тыс): https://technical.city/ru/video/Tesla-T4-protiv-RTX-A4000
Уж не говоря про то, что сама Т4 стоит меньше 100 тыс
Я про то, что любые конструкции дома = отказоустойчивость 0. Можно собрать дома супер компьютер, который вырубится при первом же отключении света
Я бы задеплоил дома на mac m1
Отличный совет после обсуждения М1 и мучений с ним)
Я бы еще порекомендовал aws sagemaker endpoint (serverless) https://aws.amazon.com/sagemaker/pricing/ и там есть free tiers, может для pet project самое то
Спасибо, но у AWS проблемы с оплатой из россии. Меня это останавливает в данный момент
Обсуждают сегодня