[Faiss] пытаюсь найти k-nearest на эмбединге размером (2 ляма, 768),

Question

[Faiss] пытаюсь найти k-nearest на эмбединге размером (2 ляма, 768),

но на search-е машина просто крашится. В логах нет никакой информации, кто-нибудь знает в чем может быть причина?
возможно ООМ, но нет представления сколько памяти нужно, в логах опять таки не ругается

#nlp #programming #russian

0

19.05.2022

4 ответов

13 просмотров

Futorio Franklin

Вообще примерное количество памяти на индекс нужно 4 * 768 * 2 * 10 ^ 6 + 8 * 2 * 10 ^ 6 байт возможно памяти не хватает. Можно сконструировать индекс, который будет занимать меньше памяти или замапить его на диск https://github.com/facebookresearch/faiss/wiki/Lower-memory-footprint

0

19.05.2022

Dias Автор вопроса

Futorio Franklin
Вообще примерное количество памяти на индекс нужно...

спасибо, попробую его сжать. Память он начинает занимать на вызове search а не на инициализации я правильно понимаю?

0

19.05.2022

Futorio Franklin

Dias
спасибо, попробую его сжать. Память он начинает за...

Вообще должен на этапе чтения индекса из файла

0

19.05.2022