скоростью на CPU и метриками, но для других языков? Немецкий, испанский, французский, эстонский, украинский, казахский, как пример. Или просто мультиязычная версия)
Или проще будет повторить шаги автора rubert-tiny, но только уже под интересующие меня языки? Вроде блокноты автора выглядят вполне "повторябельными"
Насколько мне известно, прям такой нет. Мне известна маленькая мультиязычная e5 (https://huggingface.co/intfloat/multilingual-e5-small), но там таки 12 слоев, вместо 3 слоев rubert-tiny2, так что, возможно, она и работать может раза в 4 медленнее, чем rubert-tiny2 (может быть, на CPU даже еще медленнее, потому что для русского там меньше токенов => средняя длина входной последовательности больше). Но, конечно, надо измерять все. Товарищ делал замеры на энкодечке тут; выглядит вроде приятно. Если хочется еще ускорять, я бы в этой модели дропнул несколько наименее полезных трансформерных слоев.
Спасибо большое! И за rubert-tiny2 отдельное спасибо :)
Обсуждают сегодня