какое-то предложение, как определить к какой главе это предложение относится?
В питоне есть in
Предложение не точно повторяет текст, может быть произвольным, но относящимся к какой-то главе
Сделать эмбеддинги каждого предложения и положить в векторное хранилище (faiss, chroma, qdrant) и где-то хранить маппинг к какому абзацу относятся предложения. Потом искать по метрике близости и подбирать приемлемый трешхолд.
1. Бьем текст на предложения (запоминаем в какой главе было предложение) 2. Для каждого предложения получаем эмбединг (запоминаем в какой главе) 3. Получаем эмбединг искомого предложения 4. Считаем симилярити с полученными в п.2. 5. Профит
Обсуждают сегодня