Всем привет! А какие есть бест практис, чтобы хранить большие

Лучше примера из практики на выбор любой нужной вам бдшки мне кажется сложно найти https://github.com/openai/chatgpt-retrieval-plugin/tree/main/datastore Отдельно в папке examples можете еще и докерфайлы найти нужные доя развертывания В папке docs инструкция по установке почти для каждого провайдера

0

13.10.2023

Ruslan Ishtuganov

Mairna
Спасибо! А можно какой-нибудь пример из своей прак...

Милвус не берите, он поднимает 100 (ну ладно 4) контейнера, при индексации больших объемов данных начинает падать с ошибками на гоу, хотя клиент на питоне. На гитхабе мне так и не ответили почему и что делать. Эластик тоже не берите, по шардам ищет последовательно (следовательно очень медленно). Квадрант и редис всс - топ!

0

16.10.2023

Mairna Автор вопроса

Ruslan Ishtuganov
Милвус не берите, он поднимает 100 (ну ладно 4) ко...

Спасибо ))

0

16.10.2023

Etki

Ruslan Ishtuganov
Милвус не берите, он поднимает 100 (ну ладно 4) ко...

> по шардам ищет последовательно Эм

0

16.10.2023

Ruslan Ishtuganov

Etki
> по шардам ищет последовательно Эм

Вернее по сегментам, но смысл тот же We do segment searches serially. So, comparing your two open KNN search tickets this is what I think is happening. You are on a single node with a single shard. That single shard has 49 segments, each seems to be an OK size (at least a GB or so). But, this then means, on a single node, you are exploring 49 different HNSW graphs. In the future, we want to make KNN work in parallel on the same shard but with different segments, but right now, that doesn't happen.

0

16.10.2023

Sergey Bratchikov · Accepted Answer

Sergey Bratchikov

бейзикли любая векторная бд для продакшена...

0

13.10.2023

170 похожих чатов

Всем привет! А какие есть бест практис, чтобы хранить большие

8 ответов

Похожие вопросы