Коллеги, всем привет ) есть аудиофайл на 2 канала разбивать по каналам

Question

Коллеги, всем привет ) есть аудиофайл на 2 канала разбивать по каналам

умеем (делаем обнуления поочередно). это ок.
транскрибировать каждую дорожку умеем. это ок.

вопрос:
знаете ли готовые решения/сети/библиотеки,
чтобы выдавать текст сразу с делением на паузы и таймингом?

#nlp #programming #russian

0

03.08.2023

6 ответов

8 просмотров

Anatoly Belov Автор вопроса

D F
whisper?

увидел, спасибо )

0

9 месяцев назад

Anatoly Belov Автор вопроса

D F
whisper?

а где там разделение на паузы и тайминг? сходу в доках нет описания по этим пунктам

0

9 месяцев назад

D F

Anatoly Belov
а где там разделение на паузы и тайминг? сходу в д...

я не настоящий сварщик, но как минимум в тайминг оно умеет вроде https://github.com/openai/whisper/discussions/98

0

9 месяцев назад

David Dalé

Whisper хорошо транскрибирует, в том числе с таймингом (если брать не модель с HF, а из оригинального реоп OpenAI, где есть опция word_timestamps). Но в паузы он не умеет, кроме случаев, когда они разделяют "сегменты" (это понятие из лексикона Whisper, и там эти сегменты примерно совпадают с предложениями обычно). Если паузы нужны, можно по этому тьюториалу сделать force alignment букв с фреймами аудио любой CTC-based моделью (если нужна мультиязычная, можно взять MMS). https://pytorch.org/audio/stable/tutorials/forced_alignment_tutorial.html. И после такого выравнивания можно считать отрезок речи между первой и последней буквами в слове - речью, а остальное - паузой.

0

9 месяцев назад

Anatoly Belov Автор вопроса

David Dalé
Whisper хорошо транскрибирует, в том числе с тайми...

увидел, спасибо )

0

9 месяцев назад

D F · Accepted Answer

D F

whisper?

0

9 месяцев назад

170 похожих чатов

Коллеги, всем привет ) есть аудиофайл на 2 канала разбивать по каналам

6 ответов

Похожие вопросы