А вот и первые официальные результаты Сайги на Russian SuperGLUE! Оценивалась

Question

А вот и первые официальные результаты Сайги на Russian SuperGLUE! Оценивалась

13B модель, в текущем лидерборде она занимает скромное 17 место.
Но на данный момент это единственная модель там, которую оценивали в zero-shot режиме, то есть модель не видела ни одного примера из выборки. В наиболее близком к этому few-shot режиму есть результаты только двух моделей, и Сайга ровно между ними.
ChatGPT в этом же режиме и с теми же промптами занимает 10 место.

Что дальше? Посчитать метрики для 7B и 30B, оценить LoRA-tuned и few-shot режимы. По идее LoRA-tuned 13B+ модели должны попадать в первую пятерку уж точно.

Ссылка на скрипт оценки: https://github.com/IlyaGusev/rulm/blob/master/self_instruct/src/eval_rsg.py

И огромное спасибо юзеру Andrew-MK за промпты как минимум к 3 задачам.

#nlp #programming #russian

0

07.07.2023

2 ответов

42 просмотра

Ilya Gusev Автор вопроса

Продолжаем оценивать разные вариации Сайги на Russian SuperGLUE. На этот раз всё та же 13B модель, но с дообучением новых LoRA адаптеров, на 20 миллионов весов. Сначала слили адаптер Сайги с оригинальными весами. Затем смешали обучающие и валидационные выборки всех задач, обучили адаптер одновременно под все задачи. Получилось 0.677 в итоговой оценке. Потом для RWSD/RUSSE/RuCoS слили и этот адаптер, и обучили новые отдельные адаптеры под каждую задачу. То есть для этих задач в итоге слилось 3 адаптера: +русский, +RSG, +сама задача. Получилось 3 место на лидерборде, впереди только ансамбль и полный тюн Фреда. Всё вышло бы с первой попытки, если бы не пара багов в коде. Дальше хочется то же самое с оригинальной Лламой проделать и сравнить результаты, а также попробовать few-shot и другие размеры. Скрипт обучения тот же, что и у самой Сайги. Конфиг: https://github.com/IlyaGusev/rulm/blob/master/self_instruct/configs/saiga_13b_rsg.json Скрипт оценки: https://github.com/IlyaGusev/rulm/blob/master/self_instruct/src/eval_rsg_peft.py

0

14.07.2023

Валентин Бубликов · Accepted Answer

Валентин Бубликов

Ilya Gusev

Продолжаем оценивать разные вариации Сайги на Russ...

Вот ты просто огонь-пушка, а не человек! Молодец!

0

15.07.2023

170 похожих чатов

А вот и первые официальные результаты Сайги на Russian SuperGLUE! Оценивалась

2 ответов

Похожие вопросы