Milvus вообще отдаёт не тот результат? Может быть стоит комбинировать обычный поиск по ключевым словам с семантикой?
а rerank не пробовали?
Привет, уважаемое комьюнити. Я решил проблему с эмбеддингами, использовав ChatGPT3.5-turbo. Она хороша, хоть и не наша. Может кому-то будет полезно.
Т.е. ChatGPT3.5-turbo умеет отдавать эмбединги через API? или?
Умеет. Через библиотеки openai и tiktoken
Можно будет на MTEB проскорить
Можете рассказать подробнее? https://platform.openai.com/docs/guides/embeddings/what-are-embeddings В документации по эмбеддингам только text-embedding-ada-002 в списке моделей.
Это он и есть. Стандартный 3.5 - cl100k_base
В документации OpenAI нет информации о том, что это та же модель. У них разная длина контекста 4k и 8k. И text-embedding-ada-002 в 15 раз дешевле. Думаю, что это разные модели всё же.
Я код брал отсюда. Там идет поиск по базе слева. В коде gpt-3.5-turbo модель, а эмбеддинги к нему text-embedding-ada-002
Обсуждают сегодня