Коллеги, кто нибудь openai whisper локально устанавливал, юзал?

Да, а что?

как себя ведет с русским и на сколько быстро работает?

Ну мелкие русский ужасно распознают. Дообучал whisper medium и становилось сносно

Коллеги, а чем VOSK не устраивает для транскрибации?

есть тут одна задачка по распознаванию аудиокапчи, и там быстро проговариваются символы и цифры, vosk не справляется

Я как-то проводил тест проприетарных решений (3 года назад), от azure был самый качественный результат, около 90%

Думаю, действительно есть резон дотюнить именно на образцах капчи, раз под нее.

Из коробки работает large нормально. Но мы тоже модель поменьше дообучаем на своих данных. С ним проблема в зацикливаниях фраз. До конца с ней не разобрались

Беда трансформеров. Вероятно это даже можно отловить постобработкой через иф елсе и регекспы и вырезать из результата как то

Господь благословил левый паддинг и repetition penalty. У меня они сняли порядка 90% кейсов с зацикливанием. Остались бесючие кейсы с "silence", когда тишину начинает распознавать зацикленным текстом, и когда вдохи/выдохи с присвистом распознаёт как "you"

Господь благословил левый паддинг и repetition penalty. просто пустую тишину? какой длительности? Остались бесючие кейсы с "silence", когда тишину начинает распознавать зацикленным текстом тут вроде как раз через VAD можно тишину уменьшить до определенного предела. и это помгает и когда вдохи/выдохи с присвистом распознаёт как "you" то же через VAD найти участки с речью. и может отфильтровать как раз эти вдохи

VAD - это слишком дорого и медленно. Для разовой акции пойдёт, а для 20000 часов аудио в сутки это сразу +35-40% костов на вычислительные мощности

Для такой нагрузки может есть смысл искать другие модели? Или там у вас мультиланг У меня вав2век быстрее намного. Для больших его использую. Но у меня явно не такие объемы

По производительности w2v действительно выигрывает при сопоставимом количестве параметров, но выигрыш этот нивелируется за счёт необходимости использовать т5-small в качестве sentence separator'a и punctuator'a. Когда соберётся достаточное количество чистых данных, попробую обучить w2v сразу с пунктуацией, как это сделано в MMS-1b

Это что у вас за vad такой прожорливый, позвольте полюбопытствовать?

спасибо за подсказку)

вы вав2век в связке с ЛМ используете?

Нет, меня текущие ошибки устраивают

Да все, что пробовал. По своей сути они представляли небольшие модельки, которым нужно было скармливать аудио, порезанное на мелкие куски, после чего модельки с некоторой уверенностью говорили, есть в конкретном куске аудио голос, либо нет. Подобный инференс занимал много времени, и единственный способ его ускорить было распараллеливание, что в свою очередь отжирало ресурсы. В итоге я плюнул и реализовал топорный метод: -перевожу данные аудиосигнала в относительную амплитуду -куски, где амплитуда не поднимается выше -28 Дб, вырезаю -оставшееся отправляю в ASR на распознавание. На моих данных (звонки-разговоры) работает быстро и практически безотказно. Рехается только на кейсах, когда шум на записи по уровню громкости сопоставим с голосом говорящего (например, человек звонит из вагона метро). Ну и бывает, проскакивает фрагмент с резким звуком (например, человек дёрнул микрофон или клацнул рядом с ним)