Embedded Group
Чат экстремального погром...
Android Architecture
DBA - русскоговорящее соо...
Unreal Engine
PostgreSQL + 1C + Linux
DevsHelper
SwiftBook
Вокруг да около Zigbee
Android Declarative
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
Substance Painter & Desig...
pro.graphon (and gamedev)
Cinema 4D
Server Side Swift Develop...
ErlangRus
Распознавание и синтез ре...
Compiler Development
embedded.rs Въевшаяся Ржа...
pro.osdev - os developmen...
RUSCADASEC community: Киб...
ru_hashicorp
Kaggle
Grafana Loki
ITChat
Добрый день. Подскажите, пожалуйста, кто как запускал дообученную модель Nemo
в прод?
Заметил интересную вещь, как riva. Так понял автоматически деплоит модель для прода (с участием tensorRT) из коробки (образа докера). Если правильно понял?
Нужно только модель в формат onnx конвертировать?
8 ответов
Trt умеет загружать модельки onnx, похоже что кварцнет очень легко инферится и так и эдак(onnxruntime/tensorRt) однако бывает что конфликтуют драйвер гпу и инфер-энжина и на практике может быть падение скорости вычислений
О, на каком железе и за какое время?
Если есть gpu, то можно через риву, у них там библиотека есть готовая, nemo2riva. На цпу можно через tritonserver с onnx или torchscript бэкендом, ну или самому сервинг написать. В оникс или ts почти все немо модели через .export легко экспортируются.
Max
Автор вопроса
Если есть gpu, то можно через риву, у них там библ...
А если самим писать, стоит модель конвертировать в какой-то иной формат нежели .ckpt/.nemo или без разницы?
Max
Автор вопроса
О, на каком железе и за какое время?
Не проводили сравнение, тоже интересно 😅
Max
Автор вопроса
Trt умеет загружать модельки onnx, похоже что квар...
Спасибо за информацию, а не знаете будет ли стоит onnxruntime этого всего на цпу? К слову, тогда в любом случае нужно будет коробочный метод EncDecCTCModel.transcribe() расписывать для обработки сигнала?
Если есть gpu, то можно через риву, у них там библ...
в случае с triton с onnx, как можно прикрутить lm? Или тогда делать riva модель и сервить её через тритон?
в случае с triton с onnx, как можно прикрутить lm?...
Можно либо взять ривовский декодер (triton backend), который в риве есть, но он зависит от куды. Либо написать свой на питоне или плюсах. https://github.com/triton-inference-server/python_backend
Похожие вопросы
Обсуждают сегодня