Добрый день. Подскажите, пожалуйста, кто запускал модели распознавания речи без

использования riva, triton.
Вы не замечали, что если запускать распознавание моделью на том же сервисе, где принимаете запросы, то запросы в таком случае не получается обрабатывать параллельно (даже если запущено 10 воркеров)?

Какие могут быть варианты решения, кроме запуска нескольких очередей для распознавания? Это вообще норм решение? Или лучше несколько инстансов сервиса поднять?

Я пробовал настроить многопроцессорность на своем сервисе (grpc), но модель стала значительно медленнее (хотя по графику top казалось, что обрабатывает параллельно, но как будто остальным процессам не хватало ресурсов для быстрого распознавания)
Распознаю на cpu, ибо с gpu время ответа почему-то больше, чем с cpu. Ещё одна загадка.

Может кто-то сравнивал свою реализацию с готовыми типа openvino - тоже интересно, на сколько готовое лучше своего? Или может наоборот...

1 ответов

21 просмотр

Такая схема позволяла полностью нагрузить 3090.

Похожие вопросы

Обсуждают сегодня

Привет, такой вопросик появился кажется ли вам что Rust слишком сложный/строгий для высокоуровневого программирования и слишком "безопасный"/строгий для низкоуровневого?
Крокант
10
Всем привет. Хотел бы написать для себя свою ос. Причины: 1) нужен опыт в чем-то 2) будет меньше весить 3) свое, но там будут свои задумки Я понимаю что нужно писать для всег...
Shadow Akira
18
А какие существуют способы обработки ошибок выделения памяти в ядре? Т.е., допустим, есть функция, которая возвращает адрес свободной страницы в физической памяти и диапазон в...
disba1ancer
51
Всем привет! Скажите, никто не пытался уменьшить размер процесса ssl, которые ассоциируется с открытым соединением (не помню точное название этого процесса, но там была какая-...
Алексей
20
5? да там все 10
Boris Vinogradov
12
Через бот апи возможно получить ID стикерпака? Не ссылку.
Vexylon [АФК до 09.09]
5
Why would I rent an account if it’s not mine?
Snr Engineer
3
У меня вопрос: для разработки современных (не учебных) ОС, лучше использовать уже имеющиеся архитектурные решения или нужно будет разрабатывать что-то принципиально новое?
Alexander
5
Всем привет. Запускаю snmp_server вызовом snmp:start() и получаю вот это: {bad_return, {{snmp_app,start,[normal,[]]}, {'EXIT', {{badmatch, {error, {{shutdown, {failed_to_sta...
Δημήτηρ
9
@berkus @diaevd как бы вы сделали dependency injection но без шаблонов?
Boris Vinogradov
5
Карта сайта