Коллеги, нужен совет. Какие есть подходы для рескоринга гипотез в

e2e модели (использую Conformer + CTC от NeMo)? Сейчас беру логиты, делаю рескоринг при помощи n-gram lm, работает быстро, но хочу улучшить качество.

11 ответов

45 просмотров
Sergei-Averkiev Автор вопроса

Наверно и существенно медленнее было?

Sergei Averkiev
Наверно и существенно медленнее было?

да, скорость на ГПУ была в разы меньше чем n-gram на ЦПУ

ruT5 дообучить. Качество - плюс. Скорость - минус.

Sergei-Averkiev Автор вопроса
Anton
ruT5 дообучить. Качество - плюс. Скорость - минус.

Да, хотелось бы, конечно, это как-то в реальных условиях использовать

Обучить LM на своём домене. Конформер с BPE?

Sergei-Averkiev Автор вопроса

Да, но я вот смотрю, гугл для e2e как-то делает рескоринг, в телефоны пихает. Нигде правда реализации не нашел.

Большой Nemo Conformer дает плохое качество ?

пробовал рескорить гипотезы с нескольких моделей kenlm после QuartzNet при помощи gpt-2 даёт отличные результаты в ситуации когда есть несколько доменов, рескорер выберет нужную гипотезу https://docs.nvidia.com/deeplearning/nemo/user-guide/docs/en/main/asr/asr_language_modeling.html#neural-rescoring

Рескоринг даст не большой (0-1% wer) прирост по сравнению, с 6gr LM. Попробуйте с настройками LM по экспериментировать (alpha, beta, beam_weidth ...)

Sergei-Averkiev Автор вопроса
Slava Teslenko
Рескоринг даст не большой (0-1% wer) прирост по ср...

Да, я параметры grid search'ем подтюнил. Просто хочется что-то поумней n-gram задействовать. Возможно вы правы по части разметки и т.д. Может стоит на нее посмотреть и аугментаций добавить.

Похожие вопросы

Обсуждают сегодня

Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
5
А в каком формате фреймы? Сам формат сейчас придумываешь, или что-то готовое нужно распарсить?
Okhsunrog
5
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Карта сайта