Всем привет! Сижу пробую Vosk, и вижу что мне качество

распознавания small модели не подходит. При качестве записи голосового в ТГ, записанного в тишине и близко к микрофону часто случаются ошибки, уже не говоря про речь вдали от микрофона пк (но он все же всенаправленный конденсаторный). Вблизи все ок.
Large модель идет получше, но увы, долго грузится на выделенный под него ноут при запуске и занимает столько оперативы, что в него больше ничего не помещается. Понимаю, что не лучший конфиг, но думал для TTS-STT что-то смогу придумать все таки. Конфиг i5-7200U + 8gb ram.
Не подскажете, может есть что-то среднее, может чуть более долгое по распознаванию но чтобы занимало меньше оперативы?

p.s. вблизи к микрофону small модель справляется великолепно. Может стоит обработать сигнал перед распознаванием?

28 ответов

64 просмотра

faster whisper попробуй https://github.com/guillaumekln/faster-whisper

М- Автор вопроса
Ilya Shigabeev
faster whisper попробуй https://github.com/guillau...

вот кстати только что тоже нашел, спасибо!

М- Автор вопроса
Ilya Shigabeev
faster whisper попробуй https://github.com/guillau...

что-то не могу найти информацию, не подскажешь можно ли в него грузить не файл, а поток PCM?

М
что-то не могу найти информацию, не подскажешь мож...

По идее нет. А не проще ли сделать нормальный микрофонный массив? Или хотя бы камеру от плойки взять?

М
что-то не могу найти информацию, не подскажешь мож...

Если вам шептать на ухо всякую хрень? Вы сильно поймёте что там говорится?

Это ж ваше кмк а не модели😭😄😄😄

А формат то подходящий отправляется?

М- Автор вопроса
Tarasfrompir V
Это ж ваше кмк а не модели😭😄😄😄

понятное дело, но как-то ж блин то же api тинькоффа понимает меня на 100% в тех же условиях. Так что мне кажется тут надо искать подходящую модель. Ну, если я осознаю что все плохо и на той маленькой мощности что я выделил ничего не взлетит - выделю свою 3070 для этих дел да возьму себе что-т получше

Смотри ваше п.с. там и так все понятно что уровня звука не хватает. Может надо какой-то автоуровень прикрутить ?

М- Автор вопроса
Tarasfrompir V
А формат то подходящий отправляется?

преобразование в PCM если с ТГ, если с ПК - сразу PCM

М
что-то не могу найти информацию, не подскажешь мож...

Возможность принимать PCM есть. Но там размер окна у модели - 30 секунд. Чтобы потоком распознавала нужны приседания. Но на гитхабе что-то есть.

М
понятное дело, но как-то ж блин то же api тинькофф...

Я хз . Но мои експерименты показывали что простой электректный микрофон с автовыравнием звука дистанция два метра более менее

М- Автор вопроса
Tarasfrompir V
Смотри ваше п.с. там и так все понятно что уровня ...

вот, но тут проблема что и уровень шума повысится, банально шум проезжающих машин. Я начал писать после ночных посиделок, и уже в момент написания сообщения дошло что стоит как-то бы звук обработать мб

Ilya Shigabeev
Возможность принимать PCM есть. Но там размер окна...

Да, ну его такие приседания. Тут же ещё дело во времени отклика...

М- Автор вопроса
Tarasfrompir V
Я хз . Но мои експерименты показывали что простой ...

возможно электретник как раз таки не улавливает шумы так, как это делает мой кондер

М- Автор вопроса
М- Автор вопроса
Ilya Shigabeev
Возможность принимать PCM есть. Но там размер окна...

т.е. меньше чем 30сек надо дозаполнять тишиной?

М
вот, но тут проблема что и уровень шума повысится,...

В любом случае надо говорить громче фона. В любом случае я бы делал предоббработку . Но тогда мощностя надо увеличивать

М- Автор вопроса
Tarasfrompir V
В любом случае надо говорить громче фона. В любом...

тогда мне кажется стоит заморочиться над микрофонным массивом, но тут я не изучал как и что надо с ним делать :(

М
тогда мне кажется стоит заморочиться над микрофонн...

Говорят что от пс 3 камера имеет массив из 4 микрофонов. Стоит копейки. Поройся

М- Автор вопроса
М
вот оно как, благодарю

Блин выше ж писал. Читайте внимательнее...

М- Автор вопроса
Tarasfrompir V
Блин выше ж писал. Читайте внимательнее...

ну "камеру от плойки" я не так понял) кто ж знал что такое используется, и в камере еще и микрофоны есть)

М
вот оно как, благодарю

Но там с драйверами надо поиграться. Чтобы выбрать удачные

М
ну "камеру от плойки" я не так понял) кто ж знал ч...

На них много голосовых ассистентов есть в природе самодельных

М
что-то не могу найти информацию, не подскажешь мож...

Нет, надо резать на макс.30 сек.куски и скармливать по одному

М- Автор вопроса
Сергей П.
Нет, надо резать на макс.30 сек.куски и скармливат...

спасибо, просто тогда это не имеет смысла, т.к. куски всегда будут <30 сек

Похожие вопросы

Обсуждают сегодня

Так а кто может спарсить всех участников чата? Идишники
Magic
18
да пофиг на капчу зашел в чат и молчишь при этом ты нонейм? пошел вон
Magic
17
Гайз, а как отправлять с вейпора пуши на андроид? ) Меня вот осенило )))
Serg
6
Как думаете, будут макбуки на WWDC?
Dmytro
6
Привет, кто может сделать юзербота с апи? Задачи: - создавать группы - создавать каналы - задавать для созданных каналов аватарку или эмоджи, имя группы - добавлять в группы...
Lencore
13
Всем доброго вечера! Хочу поделиться своим злоключением с человеком, который, как оказалось сюда тоже скидывал свое резюме. Жаль, что я вашу группу не нашел раньше… человек ки...
Роман Ахмедзянов
4
Включил эту опцию. Осталось два варнинга из всех (все одинаковые - a term is constructed, but never used) lager:warning("~p is not a map (~s:~s:~s)", [Body, Class, Sub, Type]...
Δημήτηρ
3
у меня такой вопрос про память в x86 возник, может кто пояснить?.. у процессора есть (как минимум) 3 типа адресов (названия "п1", "п2", "п3" --- мои, чтобы проще было дальше)...
Toideng
10
Нужно магазин с тильды на опен кат перенести Есть кто умеет? В лс
Magic
6
Я хочу запустить свой проект в тг. Что-то между пирамидой и майнилкой. Еще подобного ничего не было. Уникальная идея. Нужен именно не бот, а приложение. С ввод, выводом тон...
Павел А.
6
Карта сайта