Telegram Bot Talk
dlang.ru
Natural Language Processi...
DL in NLP discussion grou...
Pro Telecom
Всем привет! Я дообучаю разные генеративные модельки (GPT и другие, оптимизатор
AdamW), и время от времени они получаются плохими, хотя данные и лосс вроде бы в порядке. Это ведь ожидаемо? имеет ли смысл пробовать снова?
2 ответов
что имеется в виду под плохими? Генерацию оценивать сложно.
do you believe in life after love?
Автор вопроса
что имеется в виду под плохими? Генерацию оцениват...
Я обучаю в основном диалоговые модели — по ним сразу понятно, адекватные они или нет. Например, если модель на привет отвечает приветом, а на вопрос про погоду говорит что-то связное про погоду, это нормальная модель (такие примеры есть в трейнсете, ожидать этого логично). А иногда она циклится, а при штрафе на репит говорит что-то несвязное или не в тему. Насколько я знаю, Адам обычно приводит к нормальному оптимуму, хоть и медленно. Хочу понять, стоит ли пытаться обучить заново с теми же гиперпараметрами? LR подбирать не вижу смысла, т.к. лосс нормальный и для адама это вроде не так важно, а архитектуру модели сильно менять не могу, потому что дообучаю.
Похожие вопросы
Обсуждают сегодня