170 похожих чатов

Привет! Есть три нубских вопроса по машинному переводу. 1) Чем все

обычно измеряют качество En->Ru ? Тулы, тестсет.
2) Что сейчас лучшее из открытого для En->Ru?
3) facebook NLLB насколько хорош для En -> Ru ?

Спасибо:)

6 ответов

15 просмотров

1) BLEU 2) NLLB 3) https://opus.nlpl.eu/leaderboard/index.php?model=top&model1=unknown&model2=unknown&test=all&scoreslang=all&src=eng&trg=rus

Al-Zatv Автор вопроса

Спс! BLEU сила, но на каких тестовых корпусах все обычно измеряют?

Al Zatv
Спс! BLEU сила, но на каких тестовых корпусах все ...

на сайте, который я скинул, можно кликнуть на каждую строчку и посмотреть тестсет, на котором было измерено полученное качество. обычно это просто devset/testset какого-то датасета (flores, wmt, opus и тд)

Al-Zatv Автор вопроса
Daniil
на сайте, который я скинул, можно кликнуть на кажд...

Пасиб! А какой тулзой или питонским пакетом все считают метрики? bleu etc.

Al Zatv
Пасиб! А какой тулзой или питонским пакетом все сч...

Можно так: https://huggingface.co/spaces/evaluate-metric/bleu

Al Zatv
Пасиб! А какой тулзой или питонским пакетом все сч...

Для BLEU и ChrF (похожей метрики, но работающей на уровне символов) есть "священная" имплементация: https://github.com/mjpost/sacrebleu/

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Я вот подумал. SSE выполняет операции максимум с 64-битной точностью. А FPU - всегда с 80-битной. Разве не должно быть FPU точнее тогда?
The Bird of Hermes
13
как быть с принтером? такой подход прокатит?
zamtmn
12
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Я не понимаю, это троллинг или что? Швабрика поддерживают, который буквально пишет на ассемблере взаимодействия с винапи. Я это ещё написал загрузчик и хоть что-то изучаю в о...
Shadow Akira
6
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Привет. Подскажите, как правильно сматчить лист фиксированного размера, чтобы компилятор не говорил мне о неполном паттерне? Допустим что-то такое [x', y'] = sort [x, y]?
Arseny
8
Карта сайта