как делать не нужно, это вполне работает
Но как быть если модель например галлюцинирует и скажет клиенту банка что у них ставка не 13.4 а 13.2 процента
а как быть если ретривал сгаллюцинирует? разница-то в чем?
Ретриевал галлюцинирует меньше
Меньше вероятность. Ретривер опирается на подтягиваемые из БД факты
так у человека вопрос - цифры где?
а лм на заученные тексты
Ему можно сказать эти факты в контекст подставляются из БД
В том то и дело что она их не учит прямо
так а где гарантии, что подставится именно нужное место из бд?
Это вопрос к точности поиска в БД
chatgpt-retrieval-plugin на вход получает запрос, перефразированный ChatGpt. Оба варианта - переделанная фраза и функция с аргументами могут содержать ошибку ChatGpt. И значимые слова может удалить, и аргументы не те подставить. Плюс проблема качества эмбеддингов уже на уровне chatgpt-retrieval-plugin и оценки близости тех кусков, которые он сам отдаёт в ChatGpt. В итоге, галлюцинации ещё как возможны.
Обсуждают сегодня