Что значит "эмбеддинги не посчитаны"? Я же говорю, в начале

Question

Natural Language Processing

Ilya Gusev

Что значит "эмбеддинги не посчитаны"? Я же говорю, в начале

матрица заполнена случайными числами

#nlp #programming #russian

0

12.05.2023

4 ответов

28 просмотров

Alexander Kukushkin

Slach [altinity]
ну да, вот заполнили мы пространство ембедингов сл...

Чтобы резобраться в деталях рекомендую погуглить код word2vec, типа "word2vec minimal python implementation" например https://jaketae.github.io/study/word2vec/ Кодом такое объяснить проще чем словами

0

12.05.2023

Slach [altinity]

Alexander Kukushkin
Чтобы резобраться в деталях рекомендую погуглить к...

спасибо за ссылку, можно если что вам вопросики задавать?

0

12.05.2023

Нурдаулет

Slach [altinity]
спасибо за ссылку, можно если что вам вопросики за...

https://youtu.be/viZrOnJclY0 советую посмотреть это видео

0

12.05.2023

Slach [altinity] · Accepted Answer

ну да, вот заполнили мы пространство ембедингов случайными числами... я понял все так... можно я пошагово как то свое понимание буду говорить? вы уж извините мою тупость, я просто хочу нижнеуровнево схватить суть, а то терминов и абстракций много а под капотом обычно простые вещи на первом шаге, мы читаем слово из текста, получаем его номер в словаре, точнее читаем несколько слов из текста? дальше для центрального слова, мы читаем строку из пространства embedding размером 1000 на миллион и подаем эти 1000 рандомных чисел из пространства embedding на вход первому слою нейронки у которого размер 300 на размер словаря - то есть 300 миллионов ? и он тоже этот слой заполнен изначально рандомными весами? дальше что мы делаем? эти 1000 рандомных чисел умножаем ... на что? каждую цифру на каждый вес или как? результат сохраняем в первом слое? поскольку у нас два линейный (полносвязный) слоя... то дальше что... ? мы получившиеся 300 миллионов рандомных чисел перемножаем со вторым слоем?

170 похожих чатов

Что значит "эмбеддинги не посчитаны"? Я же говорю, в начале

4 ответов

Похожие вопросы