Всем привет! Мне нужно распознавать русскую речь из аудио вместе

с тайм кодами и я использую для этого Whisper, но там почему то адекватно работает только medium модель и она относительно медленная.

Есть ли похожие на whisper модели, которые могут распознавать русскую речь с тайм кодами? Тайм коды я использовую для того чтобы поставить новую озвучку на другом языке в нужные места, ведь спикер может делать паузы

10 ответов

104 просмотра

таймкоды берете этим репозиторием? https://github.com/linto-ai/whisper-timestamped

FasterWhisper и зафорсить язык в RU

gigachad- Автор вопроса
gigachad
нет, от сюда https://github.com/openai/whisper

А как там получать таймкоды? Он же из коробки их не умеет вроде

gigachad- Автор вопроса
Maxim Usov
FasterWhisper и зафорсить язык в RU

а как ему русский распознавать если он не умеет?

gigachad
а как ему русский распознавать если он не умеет?

Whisper обучался на большом количестве языков и русский один из 6 основных

gigachad- Автор вопроса

Есть wav2vec, но он мягко говоря плохой по качеству

Name
Есть wav2vec, но он мягко говоря плохой по качеств...

это смотря как его обучить)) для таймкодов подойдет на отлично

Можете попробовать https://github.com/bond005/pisets

Похожие вопросы

Обсуждают сегодня

Как думаете через какой сервис они верифицируют?
inc.
5
Вопрос на перед, на следующую пятницу. Сколько строк кода можно вешать на одного программиста, понятно что если проект хорошо написан то можно и миллион. Но есть же где то пре...
AlekseyK Kluchnikov
31
Немного оффтопа: а кто на чем сидит для осдева в плане ide/редактора? Последнее время сидел на vscode, но я его прям не могу нормально воспринимать, перешел на сlion, но меня...
Evg Resh
29
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
День добрый, подскажите пожалуйста, есть ли какой-то способ сказать ребару не компилировать определённое приложение? Всю доку их перечиатл ничего подобного не нашёл
Кирилл
14
На чём в основном щас пишут мини апы? Vuejs?
Goot evening Not everyone
6
Я правильно понимаю что нет способов получить список ожидающих заявок на вступление в группу с помощью бота из mtproto?
Шамиль Прилов
9
А какие существуют способы обработки ошибок выделения памяти в ядре? Т.е., допустим, есть функция, которая возвращает адрес свободной страницы в физической памяти и диапазон в...
disba1ancer
51
Вот объясните, как это работает: Вот есть допустим unix-подобная система, и программа запускает допустим printf или fork, как это передается ядру, и как оно обрабатывать начин...
Егор
14
Всем привет. Сейчас я изучаю erlang по книге Erlang and OTP in action. Дошел до главы где реализуется первый gen server на примере tcp rpc сервера. Меня очень сильно смутил ко...
Freezing Death
12
Карта сайта