Есть возможность для rubert-tiny2 ускорить токенизацию?
Ребят, может есть какие-то идейки по следующей задачке. Есть данные о запросах пользователей и есть данные о товарах, которые они покупали. Есть гипотеза, что пользователи со ...
есть задача, что необходимо из набора маленьких текстов(запросов), выбрать N, которые наибольше всего характеризуют набор запросов по их темам-направленности. С помощью чего э...
А есть какой то способ энкодить текстовые данные во время обучения быстрее? Сейчас векторизую их в классе датасета в getitem и по ощущениям это узкое место при обучение на бол...
У меня есть пары эмбедингов разной длины (312 и 512 ), я хочу научиться ближайшие эмбединги длины 512 по эмбедингу 312 с помощью faiss. Собираюсь каждый эмбединг закодировать ...
А есть какой то способ энкодить текстовые данные во время обучения быстрее? Сейчас векторизую их с помощью rubert-tiny в классе датасета в getitem и по ощущениям это узкое мес...
Кто то знает хороший способ пожать вектора так, чтобы они потом давали в произведение те же числа?