на уровне трансформеров , но инференс гораздо быстрее
https://medium.com/@vishal-ai/retnet-transformer-killer-is-here-1dc7f50d1205?source=email-1b73557b9ba1-1699486899597-digest.reader-decdbc13dde6-1dc7f50d1205----0-109------------------ccdcce10_2a55_4c7e_b4fc_1dea2cc07dd2-1
По качеству это последователи этой работы https://arxiv.org/pdf/2309.08632.pdf
боюсь resnet представили лет 8 назад
только рес нет вышла раньше
Обсуждают сегодня