Подскажите сравнение векторных баз данных, какие для каких случаев лучше

Я могу сказать про сравнение Qdrant vs Milvus. Характеристики Milvus: Метрика Euclidian идет по-умолчанию в Langchain и мне не удалось проиндексировать в Cosine-similarity, потому что Langchain создает такой тип таблиц, с который оказалось работает только Euclidian-distance (L2). И были сложности с выгрузкой дампа. Milvus использует Faiss. Характеристики Qdrant: Понравился Web-интерфейс. На своем компе проиндексировал, скачал дамп и загрузил на сервер через браузер. А также метрика cosine-similarity легко настраивается в Langchain. И еще там используются более быстрый HNSW. Можете посмотреть сравнение: HNSW vs FAISS. Мы выбрали Qdrant и довольны. У Elasticsearch тоже есть векторный поиск, но он медленный из-за knn, вместо ANN. Elastic мы тоже используем, только без ML-плагина, а только классический полнотекстовый поиск BM25 (TF-IDF).

0

02.11.2023

miteigi nemoto

Erdeni
Я могу сказать про сравнение Qdrant vs Milvus. Х...

а в qdrant храните текст?

0

02.11.2023

Erdeni

miteigi nemoto
а в qdrant храните текст?

Он хранит вектора и текст под вектором можно смотреть в браузере. И еще можно доп атрибуты сохранять в словаре Payload. P.S. Забыл добавить, что Qdrant имеет встроенный поиск с Фильтрами. В фильтрах выставляешь в каких Payload-атрибутах дополнительно искать какие NER (ключевые слова) и тогда получается «гибридный поиск».

0

02.11.2023

miteigi nemoto

Erdeni
Он хранит вектора и текст под вектором можно смотр...

Пока я видел, что текст в sqlite хранит. @generall93 Подскажите, плиз, а в чем еще может qdrant хранить текст? Ведь sqlite не мультипоточная, насколько знаю.

0

02.11.2023

Dmitry Автор вопроса

Erdeni
Он хранит вектора и текст под вектором можно смотр...

У вас русскоязычные тексты? Не подскажите как сделать чтобы кириллицей отображались в браузере в Qdrant ? И второй вопрос - почему-то load_indices_from_storage из Llama-index возвращает несколько (7) индексов после сохранения через index.storage_context.persist()

0

03.11.2023

Erdeni

Dmitry
У вас русскоязычные тексты? Не подскажите как сдел...

English

0

03.11.2023

Dmitry Автор вопроса

Erdeni
English

а ну тогда у вас всё красиво выглядит, а не юникод

0

03.11.2023