Здравствуйте, подскажите, с чего начать? Хочу за лето выучить дообучение

Question

Здравствуйте, подскажите, с чего начать? Хочу за лето выучить дообучение

модели разговорам и генерации текста на основе диалога, как chatGPT.
Примерно понимаю, что вектор развития - RLHF, NLP и тд, а есть вот прям значимые лекции или уроки в этой теме

#nlp #programming #russian

0

08.06.2023

5 ответов

9 просмотров

Sergey

https://www.cloudskillsboost.google/paths/118

0

08.06.2023

Иван Автор вопроса

Антон Легченко
А железо есть на такое ?) А вообще лучше изучать d...

Лёгкие модели, на заумный ответ не расчитываю, обычный, похожий на человеческий ответ

0

08.06.2023

Антон Легченко

Иван
Лёгкие модели, на заумный ответ не расчитываю, обы...

Просто кажется rlhf тут мало чем поможет в таком масштабе

0

08.06.2023

Sergey

[1] is a good start, although if you want to train from scratch on CPU, you'll have to downscale as transformers need quite a bit of data before they learn to use position embeddings. For example try a single-layer RNN on Shakespeare texts [2] or a list of movie titles from IMDB [3]. You'll have to fill in the blanks because things have evolved quite a bit since those were used for language models, but you can find some tutorials [4] and examples [5]. [1] https://jaykmody.com/blog/gpt-from-scratch/ [2] https://github.com/demmojo/text-rnn/blob/master/datasets/sha... [3] https://datasets.imdbws.com/ [4] https://pytorch.org/tutorials/beginner/chatbot_tutorial.html [5] https://github.com/pytorch/examples/tree/main/word_language

0

08.06.2023

Антон Легченко · Accepted Answer

Антон Легченко

А железо есть на такое ?) А вообще лучше изучать dl в целом, а для понимания начать с простого, поискать лекции по дистрибутивной семантике и началам nlp потом уже будет очевидно что и в современном nlp происходит

0

08.06.2023

170 похожих чатов

Здравствуйте, подскажите, с чего начать? Хочу за лето выучить дообучение

5 ответов

Похожие вопросы