До трансформеров были рекуррентные сети, и где они теперь? А

Question

До трансформеров были рекуррентные сети, и где они теперь? А

прошло всего несколько лет. Сейчас активно применяют rl. Интеграцию с плагинами, пытаются создать опенсорсный аналоги одному монстру. Может через несколько лет про трансформеры забудут, но не потому что суета, а потому что будет что-то более эффективное

#database #programming #russian #software

0

28.05.2023

8 ответов

26 просмотров

Ded Автор вопроса

Kim Young
Они во временных рядах))

Что мешает заменить там их на masked self attention ?

0

28.05.2023

Григорий Lᵖ space

Kim Young
Они во временных рядах))

а трансформеры хороши во временных рядах? как то возникает интуитивное ощущение что скрытые марковские модели должны посильнее быть. поправьте если я не прав

0

28.05.2023

Kim Young

Григорий Lᵖ space
а трансформеры хороши во временных рядах? как то в...

Есть 2 мнения, и оба есть в архиве. Первое - что трансформеры всех уделают, а второе - что трансформеры на временные ряды нельзя

0

28.05.2023

Григорий Lᵖ space

а чем подкрепляют обе стороны?

0

28.05.2023

Антон Дорохов