А кто практикует файн-тюнинг, можете подсказать по следующим вопросам?: 1. Как

Question

А кто практикует файн-тюнинг, можете подсказать по следующим вопросам?: 1. Как

узнать фактически поддерживаемый размер контекста, на котором была натренирована или затюнена модель? Я раньше смотрел по max_position_еmbeddings, но это не оно. В документациях и карточках на HF иногда есть расхождения.

2. Если модель была на 16к контекст, а потом ее затюнили с 4к датасетом, она становится 4к или продолжает быть 16к, просто хуже обрабатывает длинные последовательности?

3. Если есть модель 4к, а я хочу сделать из нее 16к, можно ли это сделать через PEFT типа LoRA/QLoRA или только полноценным файнтюнингом?

Заранее низкий поклон за любые ответы, ссылки на ноутбуки или статьи.

#nlp #programming #russian

0

01.11.2023