input в токенах? Запутался, какой сейчас максимальный контекст для llama2? В конфиге написано - max_position_embeddings=4096, это оно?
Будем тестить сегодня вечером как раз
https://huggingface.co/Yukang
не могу найти где видел как кто-то тестировал LLM на то, как она с большим контекстом работает типа брал полуосмысленную фразу например: "смысл жизни -- стряпать блины" и вставлял ее >в самое начало >с 1к токенов >с n+1k токенов и задавал вопрос "в чем смысл жизни?" а потом считал, скок раз и в каких местах ошиблась\дала правильный ответ ____ кто-нибудь меня понял? лол можете ссылку кинуть? === есть желание эту лора также протестить (мб кто-то уже делал?) ======== про лост-ин-мидл быстро находит но вроде не совсем оно, более детально
Ну вот сегодня помучаем их)
Обсуждают сегодня