никак не могу понять что это.
То есть существуют encoder only models, decoder only models, encoder decoder models и наверное что-то еще
при это существуют всякие архитектуры
gpt_bigcode,opt,bert,gpt2 и тд
Помогите,пожалуйста, упорядочить структуру эту в голове
Трансформер: http://jalammar.github.io/illustrated-transformer/ Берт (энкодер): http://jalammar.github.io/illustrated-bert/ Гпт (декодер): http://jalammar.github.io/illustrated-gpt2/
https://lilianweng.github.io/posts/2020-04-07-the-transformer-family/ https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/
напиши руками
В лс можешь придти дам материалы
Да,думаю вы правы,это лучший способ)
https://www.kaggle.com/code/arunmohan003/transformer-from-scratch-using-pytorch можешь например этот переписать для начала
Обсуждают сегодня