215 похожих чатов

Я вот не пойму... вот есть у нас энкодер и

декодер в трансформере. Вот мы взяли такие предложение и переводим его. Взяли первое слово, перевели, засунули его в маску, перевели второе - в маску и т.д.
А как так получается, что не портится все предложение из-за первого неверно переведенного?

1 ответов

3 просмотра

Потому что ты бим-серч делаешь, выбираешь наиболее вероятную последовательность, смотришь как бы наперед немного ты не можешь неправильно выбрать первое слово и сломать все потом, потому что у тебя своебразный аллайнмент есть во-первых с исходной последовательностью (енкодер-декодер аттеншен), а во вторых ты не ориентируешься четко на то, что предсказал с наибольшей вероятностью, а смотришь на возможные варианты (бим-серч) + при обучении например ты знаешь всю последовательность реальную - тут такой проблемы точно нет и норм учится языковая модель (за счет того, что в декодере маскед селф аттеншен, то есть ты смотришь на настоящую последовательность и максимизируешь ее вероятность)

Похожие вопросы

Обсуждают сегодня

Привет всем. появился вопрос. Разрабатываю сайт, в данный момент он запущен. Хостинг beget. Добавляю на сайт яндекс метрику с помощью полей client-settings (взято отсюда http...
Andrew
2
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
а как ловят такое ghci> res <- getPos2 urlt 0 (alist !! 0) 200 ghci> res SearchAtom (Search "www.google.com" "/search?q=" "Haskell") "haskell.org" (SearchTS [(2024-05-06 07:...
Fedor
14
короче сгенерила мне эта штука код на ассемблере: struc string val { common local .value dq .value .value: if ~val eq db val end if db 0 } fo...
Vi Chapmann Chapmann
12
Есть тут те у кого дети есть + 2 работы + в зал ходят + в семейной жизни все хорошо?
Abdul-Aziz M.
13
Я пожалуй ещё раз брошу клич: кто-нибудь хочет в рабство в ОЭЗ Алабугу на позицию инженера CV? Работы много, задачи сложные, ЗП высокая. Я передам контакт напрямую в HR.
Maxim 👀 Osminin #Slowpoke3D
13
Всем привет! Массив вводится с клавиатуры, кол-во элементов неизвестно, поэтому я указал arr db 100 dup(?) С нахождением максимума проблем нет, а вот минимум почему-то всегд...
En Vind Av Sorg
11
кто шарит: mattermost отслеживает что ты на пк запускаешь?
Valentin
13
Помогите, пожалуйста, делаю программу для для подсчёта корней квадратного уравнения, знаю, что есть куча недочётов, недоработок, но основная проблема в том, что почему-то при ...
NYC
13
А вы в атоме работаете да?
Alexander x*❄️❅❆
11
Карта сайта