обычно измеряют качество En->Ru ? Тулы, тестсет.
2) Что сейчас лучшее из открытого для En->Ru?
3) facebook NLLB насколько хорош для En -> Ru ?
Спасибо:)
1) BLEU 2) NLLB 3) https://opus.nlpl.eu/leaderboard/index.php?model=top&model1=unknown&model2=unknown&test=all&scoreslang=all&src=eng&trg=rus
Спс! BLEU сила, но на каких тестовых корпусах все обычно измеряют?
на сайте, который я скинул, можно кликнуть на каждую строчку и посмотреть тестсет, на котором было измерено полученное качество. обычно это просто devset/testset какого-то датасета (flores, wmt, opus и тд)
Пасиб! А какой тулзой или питонским пакетом все считают метрики? bleu etc.
Можно так: https://huggingface.co/spaces/evaluate-metric/bleu
Для BLEU и ChrF (похожей метрики, но работающей на уровне символов) есть "священная" имплементация: https://github.com/mjpost/sacrebleu/
Обсуждают сегодня