170 похожих чатов

Есть тут кто инференсит продакшн модель на vast ai?)

12 ответов

5 просмотров

наверное не лучший выбор, сама концепция сервиса не может обеспечить постоянную работу сервера

Dmitry
а какой выбор лучший?)

в целом очень много решений для прода https://geekflare.com/best-cloud-gpu-platforms/

Mukhammadsaid- Автор вопроса

Кроме aws ничего не то? Просто на васте очень привлекательные цены

а immers.cloud плох в проде?

а что за продакшн? стартап или уже платные клиенты?

Mukhammadsaid
стартап пока

Если что на постоянку могу сдать свой малый сервер - AMD Ryzen 5 5600X / 32 ГБ DDR4 / c RTX 3070 8GB / 1 TB M.2 PCIe. ИБП. Если другая видеокарта нужна - можно обсудить.

miteigi nemoto
а immers.cloud плох в проде?

Мы его частично используем, для предварительной обкатки нового сервиса перед тем, как брать уже выделенное железо под него и встраивать в локальную сеть. В целом, вопросов по машинам с GPU нету (но мы там только учим модели, инференс на CPU), а вот с CPU не всё гладко. Из 5 машин на 44 CPU каждая, 2 показывали меньшую производительность (на 20-40%), будто не все ядра используются (хотя метрики показывают, что все 44 доступны и используются) В техподдержке писали что-то про то, что мол эти ядра набиваются из разных железок, и если соседние ядра уже активно используются, то общая производительность немного снижается. Я мог некорректно это понять и сформулировать, по этому если это бред — то извините)) Но суть в том, что жирные машины с CPU надо отдельно тестировать перед тем, как фигачить прод, и машины с меньшей производительностью просто пересоздать

Поддерживаю. Очень часто проблемы с производительностью, кривые образы и т.д

datascience xc
Поддерживаю. Очень часто проблемы с производительн...

Следствие доступной цены. За стабильностью надо идти в любой ЦОД, который даёт выделенное железо. Но это уже дороже (хотя всё ещё дешевле, чем держать своё железо, инфраструктуру и обслуживать за свой счёт). А ещё лучше собирать ваше железо в выделенную стойку в ЦОД (закупает его по указанному конфигу и ставит персонально для вас). Вот тут проблем вообще никаких, а даже наоборот — у нас как-то часть дисков в raid массиве вылетело, заменили минут за 30 всё) И с сетью тоже пару раз траблы возникали, тоже очень быстро всё исправляли

Похожие вопросы

Обсуждают сегодня

я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
в сях есть множество как в питоне? для удаление дубликатов
Linus
25
читать файл максимально быстро? странный вопрос))
zamtmn
53
How to create an OS in C? what to study?
Linus
18
тоесть, указав return eax, сгенерируется никому ненужная инструкция mov eax,eax ?
Aiwan \ (•◡•) / _bot
24
а как бы вылезти из ИО, что то типа IO -> Ether или в какую сторону смотреть ? что то туплю
Fedor
9
Всем доброго вечера! Хочу поделиться своим злоключением с человеком, который, как оказалось сюда тоже скидывал свое резюме. Жаль, что я вашу группу не нашел раньше… человек ки...
Роман Ахмедзянов
4
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Компания Elif ищет менеджера проектов, который будет заниматься поиском и ведением новых проектов. Прежде чем приступить к работе, вам нужно пройти наш недельный курс, где вы ...
Elif
5
Привет, кто может сделать юзербота с апи? Задачи: - создавать группы - создавать каналы - задавать для созданных каналов аватарку или эмоджи, имя группы - добавлять в группы...
Lencore
11
Карта сайта