170 похожих чатов

Коллеги, всем привет ) кто-нибудь дообучивал сети для машинного перевода собственными

данными?
например
rut5-base-multitask
Helsinki-NLP/opus-mt-mul-en
facebook/nllb-200-distilled-600M

какие могут быть нюансы?
какие есть результаты?

11 ответов

16 просмотров

Дообучал m2m100 и NLLB, работало нормально на тех направлениях перевода на которых дообучал, остальные подзабывались.

David Dalé
Дообучал m2m100 и NLLB, работало нормально на тех ...

Давид, а какую метрику вы использовали, чтобы сравнить перевод из коробки и после файн-тюнинга? Как вы определили, что "работало нормально"?)

Тоже в ближайшее время планирую решать эту задачу со своим датасетом. Посоветуйте, пжлст, что полезного почитать? Опыта пока нет. Я так понимаю, нужно изучить туториалы по файн-тюнингу произвольной sec2sec модели

Anatoly-Belov Автор вопроса
Kate Sinkova
Давид, а какую метрику вы использовали, чтобы срав...

ChrF++ (аналог BLEU, но чуть менее чувствительный к написанию слов и иначе отмасштабированный), плюс просто глазками смотрел небольшую выборку переводов на предмет разных косяков.

David Dalé
ChrF++ (аналог BLEU, но чуть менее чувствительный ...

chrf++ кажется весьма устаревшей штукой, а COMET-20 (21/22) не пробовал?

Kate Sinkova
Тоже в ближайшее время планирую решать эту задачу ...

да, а там годится обычный seq2seq training pipeline на базе библиотеки трансформеров можно туториалы или примеры в гитхабчике также найти, посмотреть, как например - https://github.com/masakhane-io/lafand-mt/blob/main/lafand.ipynb

Daniil
chrf++ кажется весьма устаревшей штукой, а COMET-2...

имхо эти метрики про разное, и поэтому не исключают друг друга. chrf++ про лексическое сходство (также как и блю), а comet про семантику (а следовательно требует модели для нужного языка, или корпус для обучения этой модели)

᠌Vladimir Gurevich
да, а там годится обычный seq2seq training pipelin...

Благодарю! По метрике. У меня тексты грамматически и орфографически правильные и важна точность перевода терминов, поэтому кажется, что семантические метрики это не мой случай

᠌Vladimir Gurevich
да, а там годится обычный seq2seq training pipelin...

и еще вопрос: стоит ли для дообучения рассматривать фреймворк https://opennmt.net/ ?

Kate Sinkova
и еще вопрос: стоит ли для дообучения рассматриват...

вполне, но я бы в сторону fairseq смотрел, он банально более популярен и лучше поддерживается

Похожие вопросы

Обсуждают сегодня

Интересно, нет ли какого-то способа получить из dll не адрес самой метки, а адрес со смещением?
The Bird of Hermes
54
Делал задачу вот такую https://stepik.org/lesson/4985/step/9?unit=1083 получилось такое https://play.haskell.org/saved/ipKrepqe оно работает, тестов много не писал, но работае...
Fedor
22
что-то я не понимаю, в линуксе отладочную информацию как убрать из бинаря? он что с этой опцией, что без - одного и того же (достаточно большого) размера (да, я про лазарь)
Iluha Companets
13
Hey Does anyone know how can I receive push notifications from Github on my account? The official Github android app doesn't send notifications, and I don't use the email bec...
Jacob
10
Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
58
Как в webstorm включить фичу, чтобы прямо в коде можно было видеть кто редактировал это строчку и в каком коммите?
Антон
7
Всем привет, а может кто-то подсказать какие-то советы или типо того, как оптимальнее всего сапортить сервисы в разных локациях (канада + австралия + евпропа)? Будет ли ошибк...
Stas
8
Это что теперь, любой бот сможет принимать платежи без ебли с юр лицами?
Lencore
8
Не догоняю немного каким боком тут эппл Вот есть веб (мини) апп, который по факту веб сайт, просто в телеге веб вью и если там оплата, то нежно вот эти приседания?
e\\/gen
7
Сообщение* в закодированном виде. То есть, просто сделать sendMessage?text=Привет бла-бла! не получится, надо в HEX переводить, и добавлять процент, типа такого: sendMessage?t...
КТ315
21
Карта сайта