текст ещё раз?
Допустим, я скинул ему большой документ, он сохранился в истории переписки. Через некоторое время я прошу его ещё раз вернуться к этому документу и чсделатьс ним что-то, не вводя заново. Чат будет брать плату за этот текст или нет, ведь я вводил его ранее?
берет, там же оплата за введенные символы, по-сути
Но я же ввёл их ранее уже
Там ограниченный контекст. Поэтому оплата идёт за те токены, которые вы подаёте в качестве контекста. Если вы хотите сослаться на предыдущий текст, вам нужно будет подать на вход всю предыдущую переписку. Иначе не будет на что ссылаться. В пользовательской версии контекст хранится и подаётся за кадром для пользователя, но если вы будете пользоваться АПИ, вам нужно будет делать это самостоятельно.
он не хранит историю переписки, если вы про апи
в API формат работы: вопрос — ответ
Это да, а можно как-то сделать как на сайте? Чтобы было несколько разных переписок? Это же гораздо удобнее. Так каша получится
API не хранит историю
Обсуждают сегодня