170 похожих чатов

❓А что почитать по подготовке датасета для дообучения

GPT-3 ?

3 ответов

11 просмотров

https://habr.com/ru/company/sberdevices/blog/589969/ вот можно вычитать что-то, если ruGPT3 годится

Dmitriy- Автор вопроса
Leonid Y
https://habr.com/ru/company/sberdevices/blog/58996...

да ruGPT-3 подойдет основа одна GPT-2 но нету про датасеты

Dmitriy
да ruGPT-3 подойдет основа одна GPT-2 но нету про ...

Вот там, например, про датасеты ============== Диалоговый датасет разбивается на последовательность наборов «контекст-истинная реплика-отвлекающая реплика (N штук)» с кумулятивно нарастающим контекстом в течение каждого диалога. В ходе экспериментов мы выяснили, что качество диалоговой модели напрямую зависит от качества этого диалогового датасета, на котором мы обучаем её ведению беседы с пользователем. Можно сказать, что очень быстро (что, вообще говоря, нетипично для больших трансформерных моделей) качество данных становится важнее количества.

Похожие вопросы

Обсуждают сегодня

А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
Ребят, что лучше для реверса: гидра или ида?
En Vind Av Sorg
22
Вопрос я правильно понимаю что в коде newtype ArrowMap k v = ArrowMap { getArrowMap :: k -> Maybe v } getArrowMap есть функция типа k -> Maybe v, если да, то не понимаю задач...
Fedor
64
Делаю велосипед логгер. К сообщению хочу прикрутить некоторую информацию, типа, кем отправлено, какой уровень, и всякое такое. И тут подумалось мне, почему бы не хранить весь...
Serjone
24
Как Вы считаете нормально ли в двадцатых годах 21 века в ВУЗах Российской Федерации обучать студентов работе с TASM? Не слишком ли это "архаично"? (Если оффтоп или флейм для э...
Spiker01
52
а не подскажете вот это скрин из какой IDE ?
Iluha Companets
14
Комрады, хотел уточнить. Проперть в OnDestroy юнита-хозяина по-прежнему доступна? И еще уточнение: finalization юнита наступает раньше или позже OnDestroy?
Ed Doc
48
Сегодня у себя обнаружил Holodeck-2_8_0.exe (48.5 Mb). Вопрос: откуда он у меня взялся?
楽園松本
8
Народ всем привет Подскажите, как включить самописные dll библиотеки в итоговую сборку Сейчас при запуске dev сервера локально формируется папка build, из которой запускается...
Андрей
4
Продолжая диалог про свифт в проде – сейчас возник вопрос в активном наборе бекендеров. В основном в нашей компании мы фанаты Java Spring и полностью ей довольны. Однако найм ...
Guseyn
27
Карта сайта