170 похожих чатов

Я бы как сделал-спросил себя какую главную задачу решаю? Потом

какие варианты есть? Чем отличаются? Какой вариант именно мне подходит?

7 ответов

5 просмотров

Мне в этих вариантах не нравится то, что они как бы с нуля писать. А по ощущению, это абсолютно стандартная для многих задача и должны быть фреймворки и подходы готовые.

Sergey- Автор вопроса
Майя
Мне в этих вариантах не нравится то, что они как б...

Задача стандартная, исходная точка у всех разная

Майя
Мне в этих вариантах не нравится то, что они как б...

Не читали? https://pytorch.org/tutorials/intermediate/torchserve_with_ipex.html https://pytorch.org/tutorials/intermediate/torchserve_with_ipex_2.html А так же фреймворк: https://github.com/pytorch/serve

Sergey
Задача стандартная, исходная точка у всех разная

Transformers модели максимально эффективно деплоить на CPU, чтобы все ресурсы использовались максимально - кажется, что очень стандартно должно быть.

Futorio Franklin
Не читали? https://pytorch.org/tutorials/intermedi...

Да, спасибо, наверное, это оно. И возможно будет какой-то performance gain по сравнению с FastAPI...

Майя
Да, спасибо, наверное, это оно. И возможно будет к...

А по умолчанию примеры с onnxruntime.ai с вашей моделью не грузят нормально все ядра?

Grigory Frantsuzov
А по умолчанию примеры с onnxruntime.ai с вашей м...

Я проверю. Было ощущение, что не грузят, но лучше сначала проверить, может, оно и из коробки работает.

Похожие вопросы

Обсуждают сегодня

Кстати, а я вот тут подумал. Допустим, у нас имеется цикл который выполняет огромное количество итераций, но мы хотим, чтобы какие-то действия исполнилось только один раз. В Я...
The Bird of Hermes
23
Доброй ночи. Вопрос знатокам. Имеется некая таблица, результат которой выведен в DBGrid на форме. И есть форма, с помощью которой можно как добавить запись, так и отредактиров...
Евгений
28
а всё почему? потому что ассемблер в отличии от яву порождает множество пагубных привычек, среди которых например можно отметить использование глобальных переменных для всего ...
Mixail Frolov
35
анрей С какой целью зашёл?
КТ315
42
я часов 15 назад начал пытаться написать хоть что-то напоминающее ос и у меня есть проблема, которую я пытаюсь решить последние часов 5: есть крч 2 исходника с минимальным код...
Al1to
17
Кто нибудь из участников чата пишет на ассемблере под GNU/Linux?
Spiker01
24
Всем привет ребят! Мб кто-то сталкивался? adminСomponents .get("searchСomponents", use: searchComponents) .openAPI( summary: ...
Admin Adminov
2
Насколько моя реализация Exercise 1 плохая? data MessageType = Info | Warning | Error Int deriving (Show, Eq) type TimeStamp = Int data LogMessage = LogMessage ...
= ?
10
Кстати вопрос. Проанализировав свои проекты я понял, что в наиболее ценных из них Асм использовался для организации real-time процессов (внутри DOS). А какие есть способы сего...
Alexander Morozov
18
Я не очень много работал с потоками, тут возник вопрос - если будет одновременный доступ к памяти из двух разных потоков, это само по себе приведет к ошибке?
The Bird of Hermes
25
Карта сайта