Добрый день. Подскажите, пожалуйста, кто запускал модели распознавания речи без

использования riva, triton.
Вы не замечали, что если запускать распознавание моделью на том же сервисе, где принимаете запросы, то запросы в таком случае не получается обрабатывать параллельно (даже если запущено 10 воркеров)?

Какие могут быть варианты решения, кроме запуска нескольких очередей для распознавания? Это вообще норм решение? Или лучше несколько инстансов сервиса поднять?

Я пробовал настроить многопроцессорность на своем сервисе (grpc), но модель стала значительно медленнее (хотя по графику top казалось, что обрабатывает параллельно, но как будто остальным процессам не хватало ресурсов для быстрого распознавания)
Распознаю на cpu, ибо с gpu время ответа почему-то больше, чем с cpu. Ещё одна загадка.

Может кто-то сравнивал свою реализацию с готовыми типа openvino - тоже интересно, на сколько готовое лучше своего? Или может наоборот...

1 ответов

22 просмотра

Такая схема позволяла полностью нагрузить 3090.

Похожие вопросы

Обсуждают сегодня

Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
1
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Коллеги, я тут для личных нужд пошел ставить MQTT сервер, пощупал mosquitto, но ужаснулся отсутствию такой банальности, как HTTP API для посмотреть список топиков. А тут что,...
Maksim Lapshin
14
У меня задача: написать брокер сообщений. Очереди и потребители. Очереди поддерживают приоритеты. Очередь отдает сообщения, только обработчикам с соответствующими характеристи...
Aleksandr Filippov
2
Решил тут попробовать embassy на bluepill. Все установил, собрал blink и успешно залил с помощью St link 2 китайского. Но после этого чип шиться перестал. На форумах прочел, ч...
Lukutin R2AJP
6
Немного оффтопа: а кто на чем сидит для осдева в плане ide/редактора? Последнее время сидел на vscode, но я его прям не могу нормально воспринимать, перешел на сlion, но меня...
Evg Resh
29
Карта сайта