Т.е. когда по заданному вопросу в базе знаний нет нужной информации или по скору она оказалась где-то внизу и не попала в контекст. Мне в голову приходит: 1. увеличить количество информации, которая подается в контекст, но тут рискуем выйти за допустимую длину токенов. 2. установить минимальный скор, ниже которого модель будет выдавать информацию, что недостаточно знаний для ответа. 3. Вот тут вопрос - поможет ли дообучение LLM на базе знаний, которую использую для поиска контекста?
можете попробовать какие-то подходы для uncertainty estimation
Индексы разные. И давать модели самой выбирать подходящие под запрос (по аналогии с тем, как агенты в LangChain работают с Tools). Плюс позволять добирать информацию. Ещё может помочь использование контекста побольше, вроде 65k+ у последней мозаики.
Обсуждают сегодня