170 похожих чатов

Господа - а есть локальная модель, которая хорошо переводить умеет

англ-другие языки? Потому как судя по всему LLAMA 2 годная история, но только на английском

8 ответов

11 просмотров

NLLB - SOTA по переводу

Юрий-Новоселов Автор вопроса
datascience xc
NLLB - SOTA по переводу

какой нибудь линк не подскажете где искать?

datascience xc
NLLB - SOTA по переводу

Кстати вопрос по NLLB. Его надо кормить целыми абзацами, или отдельными предложениями? (а то он как-то вольно относится к абзацам,может выкинуть отдельные предложения. и с предложениями тоже бывают косяки — бывает выдаёт зацикленное)

Al Zatv
Кстати вопрос по NLLB. Его надо кормить целыми абз...

Если используете из коробки, то отдельными предложениями, ибо обучалась эта модель исключительно на единичных предложениях. Наверное, можно ее так пофайнтюнить, чтобы и на небольших абзацах работала, но я не пробовал.

David Dalé
Если используете из коробки, то отдельными предлож...

Пасиб. Интуитивно кажется,что лучше бы абзацами — ну чтоб ей было за мыслью проще следить. Но раз так не учили, то понятно.

David Dalé
Если используете из коробки, то отдельными предлож...

Кстати,а чем бы побить на предложения, плюс-минус языконезависимо? Пробовал ersatz, он в англ неплох, но в русском слабоват.

Al Zatv
Кстати,а чем бы побить на предложения, плюс-минус ...

Авторы самой NLLB использовали вот такой языкозависимый скрипт с выбором своего специфичного сплиттера для кучи языков. https://github.com/facebookresearch/stopes/blob/main/stopes/pipelines/monolingual/utils/sentence_split.py

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта