чистому тексту инструкций, документации? он сможет после такого дообучения давать ответы по инструкциям?
Для этого лучше ретривер использовать
ну text qa тоже полезная штука
Ты не понял, человек имеет ввиду то, чтобы обучать на текстах модель, а не учить QA по контексту
если брать реализацию от langchain, то иногда кажется, что контекста для модели маловато. 4096 токенов не всегда хватает, а больше не влазит в память
https://github.com/mit-han-lab/streaming-llm
Это не расширение контекста, к сожалению
мне сложно представить задачу, где нужны все токены в окне контекстном обычно задача в начале и самое полезное последнее
А что если собирать контексты в два чанка(C0 и С1) и за предсказание брать усреднение p(next_word|C0) и p(next_word|C1)
Обсуждают сегодня