беру openllama7b_700B + qlora_config) обучение застревает на последнем evaluation step'е.
Кто-нибудь сталкивался с такой проблемой?
Примеров не хватает до полного батча? Как просто мысль. Посмотри его и сравни с другими, по количеству, по содержанию
Я eval_batchsize 2 поставил (как в примере) Тут 5 примеров выгрузил чтобы бысто задебажить
Попробуй выгрузить 6 для дебага)
а точно застревает, может это чекпоинт сохраняется?
Ну я на ночь оставлял😂😭😭😭
не помогло=(
Обсуждают сегодня