В гос. проекте по чат-боту (не телеграмм бот, а llm

Question

В гос. проекте по чат-боту (не телеграмм бот, а llm

(грубо говоря, локальная chat-gpt, всё довольно серьёзно), есть фича: история чатов с контекстом. Бот должен держать в "мозгах" последние 10 сообщений, при этом так, что. С суммаризацией/дополнением контекста не вышло (для тех, кто не в summary -- сжатие текста).
Покумекал над евклидовым расстоянием и сделал через faiss (помогло то, что изначально была задумка "спроектировать так, чтобы легко можно было как-то обработать набор запросов с историей", там, в пандасе, просто хранится вся мета-информация по документам и итоговые расстояни), потестил, стало намного лучше, чем без истории (т.е. контексты работают).
Смысл был сделать буквально механизм, который позволит помнить последние nзапросов.
Но вот проблема: менеджер его не понимает и начинает ругаться, дескать, "велосипед делаешь". А не велосипед и простые алгоритмы -- брать языковую модель в 13 миллиардов параметров, которая ест 12+ гб видеопамяти за один запуск и, в целом, генерит шизофазию. Что делать? И какой вы бы алгоритм написали?

#backend #programming #python #russian

0

03.11.2023