Е5 (large) на ЦПУ и ГПУ?
вижу по гуглу, что такое у кого-то бывало.
векторизую базу локально на ЦПУ, в проде же векторизатор на ГПУ крутится. Вот задумался.
Или не должно такого быть, если с моделью все ок?
У меня как-то с другими моделями получались немножко разные результаты на CPU и GPU, потому что CPU делал вычисления в FP32, а CUDA переключалась в некий формат tf32, у которого precision вдвое меньше, и ошибка округления накапливалась до заметного результата.
Обсуждают сегодня