170 похожих чатов

Коллеги, всем привет ) есть аудиофайл на 2 канала разбивать по каналам

умеем (делаем обнуления поочередно). это ок.
транскрибировать каждую дорожку умеем. это ок.

вопрос:
знаете ли готовые решения/сети/библиотеки,
чтобы выдавать текст сразу с делением на паузы и таймингом?

6 ответов

29 просмотров

whisper?

Anatoly-Belov Автор вопроса
D F
whisper?

увидел, спасибо )

Anatoly-Belov Автор вопроса
D F
whisper?

а где там разделение на паузы и тайминг? сходу в доках нет описания по этим пунктам

Anatoly Belov
а где там разделение на паузы и тайминг? сходу в д...

я не настоящий сварщик, но как минимум в тайминг оно умеет вроде https://github.com/openai/whisper/discussions/98

Whisper хорошо транскрибирует, в том числе с таймингом (если брать не модель с HF, а из оригинального реоп OpenAI, где есть опция word_timestamps). Но в паузы он не умеет, кроме случаев, когда они разделяют "сегменты" (это понятие из лексикона Whisper, и там эти сегменты примерно совпадают с предложениями обычно). Если паузы нужны, можно по этому тьюториалу сделать force alignment букв с фреймами аудио любой CTC-based моделью (если нужна мультиязычная, можно взять MMS). https://pytorch.org/audio/stable/tutorials/forced_alignment_tutorial.html. И после такого выравнивания можно считать отрезок речи между первой и последней буквами в слове - речью, а остальное - паузой.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта