линейная сепарация
Геометрический смысл получить вектор такой размерности, какой размерности словарь. Сжимание/разжимание пространства.
Можно поискать. Уверен, что такие работы есть, но как я монимаю просто it works
ну мы берём эмбеддинг на выходе из последнего слоя трансформера и сравниваем его с выученными эмбеддингами выходного линейного слоя. На какие он похож (через dot product), у таких будет выше вероятность
Но там нет dot product. Просто матрица финальных эмбеддингов умножается на что-то.
Обсуждают сегодня