всё это дело на вкус? По направлению было бы интересно NLP (базовое образование у меня - лингвистическое) либо что-то связанное с медициной (здесь чувство миссии - хорошее)?
Я боюсь, сейчас трансформеры убили всю лингвистику в НЛП, после того, как 20 лет с ней трахались, оказалось, что можно просто запустить побольше данных и ничего не нужно.
нихера заявление
Да) ЖПТ - тупо выучил русский на досуге). Но есть задачи, которые, как мне кажется, генеративными моделями не решаются. Типо синхронной озвучки на другие языки. Яндекс что-то подобное выкатывал год назад, но там был лаг в 5 минут.
А будут пруфы что трансформеры убили лингвистику как науку?
Я именно про лингвистику в НЛП. Так-то, понятно, не убили
все равно не очень понятно что это значит
Что развития лингвистических подходов в ближайшем будущем не будет, да и в более отдалённом сомнительно.
А есть уверенность, что в ChatGPT не скрыто внутри ничего сложного? Была статья на хабре, где писали, что оно использует Wolfram Alpha и Wolfram Language внутри
ну во первых. Transformer это логическое продолжение LSTM сетей скорее, поправьте если не так, буст к этому направлению придали не только Trasformer но и word2vec направление, когда сеть учит не просто какое слово будет дальше но и какой контекст оно имеет
Ну очень отдаленное продолжение, даже если брать LSTM+Annention. Но в любом случае, где в LSTM или word2vec лингвистика?
Обсуждают сегодня