170 похожих чатов

Коллеги, всем привет ) кто-нибудь дообучивал сети для машинного перевода собственными

данными?
например
rut5-base-multitask
Helsinki-NLP/opus-mt-mul-en
facebook/nllb-200-distilled-600M

какие могут быть нюансы?
какие есть результаты?

11 ответов

31 просмотр

Дообучал m2m100 и NLLB, работало нормально на тех направлениях перевода на которых дообучал, остальные подзабывались.

David Dalé
Дообучал m2m100 и NLLB, работало нормально на тех ...

Давид, а какую метрику вы использовали, чтобы сравнить перевод из коробки и после файн-тюнинга? Как вы определили, что "работало нормально"?)

Тоже в ближайшее время планирую решать эту задачу со своим датасетом. Посоветуйте, пжлст, что полезного почитать? Опыта пока нет. Я так понимаю, нужно изучить туториалы по файн-тюнингу произвольной sec2sec модели

Kate Sinkova
Давид, а какую метрику вы использовали, чтобы срав...

ChrF++ (аналог BLEU, но чуть менее чувствительный к написанию слов и иначе отмасштабированный), плюс просто глазками смотрел небольшую выборку переводов на предмет разных косяков.

David Dalé
ChrF++ (аналог BLEU, но чуть менее чувствительный ...

chrf++ кажется весьма устаревшей штукой, а COMET-20 (21/22) не пробовал?

Kate Sinkova
Тоже в ближайшее время планирую решать эту задачу ...

да, а там годится обычный seq2seq training pipeline на базе библиотеки трансформеров можно туториалы или примеры в гитхабчике также найти, посмотреть, как например - https://github.com/masakhane-io/lafand-mt/blob/main/lafand.ipynb

Daniil
chrf++ кажется весьма устаревшей штукой, а COMET-2...

имхо эти метрики про разное, и поэтому не исключают друг друга. chrf++ про лексическое сходство (также как и блю), а comet про семантику (а следовательно требует модели для нужного языка, или корпус для обучения этой модели)

᠌Vladimir Gurevich
да, а там годится обычный seq2seq training pipelin...

Благодарю! По метрике. У меня тексты грамматически и орфографически правильные и важна точность перевода терминов, поэтому кажется, что семантические метрики это не мой случай

᠌Vladimir Gurevich
да, а там годится обычный seq2seq training pipelin...

и еще вопрос: стоит ли для дообучения рассматривать фреймворк https://opennmt.net/ ?

Kate Sinkova
и еще вопрос: стоит ли для дообучения рассматриват...

вполне, но я бы в сторону fairseq смотрел, он банально более популярен и лучше поддерживается

Похожие вопросы

Обсуждают сегодня

а через ESC-код ?
Alexey Kulakov
29
30500 за редактор? )
Владимир
47
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
вы делали что-то подобное и как? может есть либы готовые? увидел картинку нокода, где всё линиями соединено и стало интересно попробовать то же в ddl на lua сделать. решил с ч...
Victor
8
Ребят в СИ можно реализовать ООП?
Николай
33
Подскажите пожалуйста, как в CustomDrawCell(Sender: TcxCustomGridTableView; ACanvas: TcxCanvas; AViewInfo: TcxGridTableDataCellViewInfo; var ADone: Boolean); получить наз...
A Z
7
Карта сайта