Всем привет! Мне нужно распознавать русскую речь из аудио вместе

с тайм кодами и я использую для этого Whisper, но там почему то адекватно работает только medium модель и она относительно медленная.

Есть ли похожие на whisper модели, которые могут распознавать русскую речь с тайм кодами? Тайм коды я использовую для того чтобы поставить новую озвучку на другом языке в нужные места, ведь спикер может делать паузы

10 ответов

65 просмотров

таймкоды берете этим репозиторием? https://github.com/linto-ai/whisper-timestamped

FasterWhisper и зафорсить язык в RU

gigachad- Автор вопроса
gigachad
нет, от сюда https://github.com/openai/whisper

А как там получать таймкоды? Он же из коробки их не умеет вроде

gigachad- Автор вопроса
Maxim Usov
FasterWhisper и зафорсить язык в RU

а как ему русский распознавать если он не умеет?

gigachad
а как ему русский распознавать если он не умеет?

Whisper обучался на большом количестве языков и русский один из 6 основных

gigachad- Автор вопроса

Есть wav2vec, но он мягко говоря плохой по качеству

Name
Есть wav2vec, но он мягко говоря плохой по качеств...

это смотря как его обучить)) для таймкодов подойдет на отлично

Можете попробовать https://github.com/bond005/pisets

Похожие вопросы

Обсуждают сегодня

Так а кто может спарсить всех участников чата? Идишники
Magic
18
да пофиг на капчу зашел в чат и молчишь при этом ты нонейм? пошел вон
Magic
17
Гайз, а как отправлять с вейпора пуши на андроид? ) Меня вот осенило )))
Serg
11
А как можно понять что пользовательская программа завершилась если она не вызывала сисколл exit?
One
4
Всем доброго дня. Возвращаясь к вопросу о варнингах: есть ли способ заставить компилятор ругаться на вызов функций языка, которые уже не существуют? Например, я могу спокойно ...
Δημήτηρ
2
Все еще ржу с mov ax, 0xA000 ; graphic segment ?? mov gs, ax
Berkus Decker
4
Как думаете, будут макбуки на WWDC?
Dmytro
6
Привет, кто может сделать юзербота с апи? Задачи: - создавать группы - создавать каналы - задавать для созданных каналов аватарку или эмоджи, имя группы - добавлять в группы...
Lencore
13
Всем доброго вечера! Хочу поделиться своим злоключением с человеком, который, как оказалось сюда тоже скидывал свое резюме. Жаль, что я вашу группу не нашел раньше… человек ки...
Роман Ахмедзянов
4
у меня такой вопрос про память в x86 возник, может кто пояснить?.. у процессора есть (как минимум) 3 типа адресов (названия "п1", "п2", "п3" --- мои, чтобы проще было дальше)...
Toideng
10
Карта сайта