Всем привет, занимаюсь text-to-sql через gpt-3.5 В промпт идут следующие данные:

Question

Всем привет, занимаюсь text-to-sql через gpt-3.5 В промпт идут следующие данные:

1. Инструкция (взял из langchain, немного модифицировав)
2. CREATE STATEMENTS всех необходимых таблиц
3. Текстовое описание таблиц и полей

Проблема заключается в том, что модель строит правильные запросы через раз, очень часто путает имена таблиц, а иногда их даже выдумывает. Я пробовал дополнительно посылать запрос модельке вместе с текстом ошибки из БД, и дополнял инструкцию, что мол вот запрос неверный, исправь с учетом ошибки. Но к успеху это не привело.
Кто-нибудь побеждал такую неустойчивость результатов? Не хочется спамить модель пока не получу правильный запрос, дорого и повышает api rate.

#nlp #programming #russian

0

31.07.2023

8 ответов

11 просмотров

n i Автор вопроса

Квадрат Чёрный
Пробовали добавить в промпт примеров с ответами по...

да, парочку запросов удалось добавить, которые он обрабатывал не верно, но на все типы ошибок добавить не получается, т.к. итак использую 16к версию, и не всегда хватает токенов. Сейчас подумал, мб подгружать примеры динамично через векторную бд?

0

31.07.2023

նիկիտա ki ta ~

n i
да, парочку запросов удалось добавить, которые он ...

прикольный подход

0

31.07.2023

նիկիտա ki ta ~

а почему 3.5 используешь? 4 намного лучше в коде, может часть проблем тебе откинуть

0

31.07.2023

n i Автор вопроса

նիկիտա ki ta ~
а почему 3.5 используешь? 4 намного лучше в коде, ...

это как последний вариант, потому что хочется дешевле. И по моему мне еще не заапрувили 32к версию)

0

31.07.2023

Юрий Новоселов

նիկիտա ki ta ~
а почему 3.5 используешь? 4 намного лучше в коде, ...

Цена раз в 10

0

31.07.2023

նիկիտա ki ta ~

Юрий Новоселов
Цена раз в 10

насколько я понимаю, в большинстве кейсов эта цена намного меньше потраченного времени разработчика, поэтому можно об этом не париться но я не знаю, для какого проекта делается система, так что нужно считать

0

31.07.2023

Roman Roman

Юрий Новоселов
Цена раз в 10

Если быть точнее, раз в 20

0

31.07.2023

Квадрат Чёрный · Accepted Answer

Квадрат Чёрный

Пробовали добавить в промпт примеров с ответами похожими именно на ваши запросы?

0

31.07.2023

170 похожих чатов

Всем привет, занимаюсь text-to-sql через gpt-3.5 В промпт идут следующие данные:

8 ответов

Похожие вопросы