Добрый день! Подскажите, пожалуйста, кто-нибудь на проде использует модель распознавания

речи с использованием gpu? Пробовал затестировать распознавание на gpu и cpu при нагрузке: N пользователей в секунду. Но при тестировании большого количества записей с одним пользователей - небольшой профит был заметен.
При увеличении нагрузки - становилось хуже, медленней.
Я так понимаю это связано с тем, что gpu плохо параллелится? Слышал на какой-то лекции с Ютуба, но очень давно - вдруг кто тоже вспомнит/наткнется - скиньте, пожалуйста 🙏
Или я не прав?

2 ответов

25 просмотров

все думаю зависит от конкретного случая, а в теории можно распараллелить нормально только на кол-во ядер, а на gpu их может быть тысячи, но ядра эти выполняют ограниченное кол-во инструкций и работают с ограниченным куском памяти, + надо учесть время на закачку данных туда и обратно, бывает на небольших данных профит за cpu а на большой выборке за gpu

Max- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
1
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Коллеги, я тут для личных нужд пошел ставить MQTT сервер, пощупал mosquitto, но ужаснулся отсутствию такой банальности, как HTTP API для посмотреть список топиков. А тут что,...
Maksim Lapshin
14
У меня задача: написать брокер сообщений. Очереди и потребители. Очереди поддерживают приоритеты. Очередь отдает сообщения, только обработчикам с соответствующими характеристи...
Aleksandr Filippov
2
Решил тут попробовать embassy на bluepill. Все установил, собрал blink и успешно залил с помощью St link 2 китайского. Но после этого чип шиться перестал. На форумах прочел, ч...
Lukutin R2AJP
6
Немного оффтопа: а кто на чем сидит для осдева в плане ide/редактора? Последнее время сидел на vscode, но я его прям не могу нормально воспринимать, перешел на сlion, но меня...
Evg Resh
29
Карта сайта