Добрый день. Подскажите, пожалуйста, кто запускал модели распознавания речи без

использования riva, triton.
Вы не замечали, что если запускать распознавание моделью на том же сервисе, где принимаете запросы, то запросы в таком случае не получается обрабатывать параллельно (даже если запущено 10 воркеров)?

Какие могут быть варианты решения, кроме запуска нескольких очередей для распознавания? Это вообще норм решение? Или лучше несколько инстансов сервиса поднять?

Я пробовал настроить многопроцессорность на своем сервисе (grpc), но модель стала значительно медленнее (хотя по графику top казалось, что обрабатывает параллельно, но как будто остальным процессам не хватало ресурсов для быстрого распознавания)
Распознаю на cpu, ибо с gpu время ответа почему-то больше, чем с cpu. Ещё одна загадка.

Может кто-то сравнивал свою реализацию с готовыми типа openvino - тоже интересно, на сколько готовое лучше своего? Или может наоборот...

1 ответов

27 просмотров

Такая схема позволяла полностью нагрузить 3090.

Похожие вопросы

Обсуждают сегодня

Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
5
А в каком формате фреймы? Сам формат сейчас придумываешь, или что-то готовое нужно распарсить?
Okhsunrog
5
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Карта сайта