170 похожих чатов

Привет! Кто знает, существует ли подобный этому leaderboard для русскоязычных embeddings?

27 ответов

11 просмотров

https://github.com/avidale/encodechka

Alexander
Немножко устарело)

что то есть новее?

Alexander
Немножко устарело)

Если ты предложишь несколько новых энкодеров (только готовые рецепты и уже кем-то публично описанные, а не просто чьи-то свежие идеи), я буду рад их в лидерборд добавить 🙃

datascience xc
E5?

А это разве энкодер предложений? Мне казалось, это seq2seq модель, в которой ни в один момент нет fixed-sized эмбеддинга предложения. Так что я не думаю, что она будет перформить сильно лучше других T5-подобных моделей, но раз есть запрос - добавлю)

E5 это энкодер. На самом деле это xlm-roberta

в статье вроде про берт писали

datascience xc
E5 это энкодер. На самом деле это xlm-roberta

А, прощу прощения. Я перепутал с UMT5)

datascience xc
E5?

Принимаются ещё заказы)

David Dalé
Принимаются ещё заказы)

Пытался ещё Е5 дистиллировать в rubert-tiny2, но по результатам мтеб стало хуже

datascience xc
От deepvk есть модели

Ок, добавлю их деберту (вроде самая лучшая из всех) https://huggingface.co/deepvk/deberta-v1-base

datascience xc
Пытался ещё Е5 дистиллировать в rubert-tiny2, но п...

А на каком языке ты дистиллировал? MTEB вроде на английском, а у rubert-tiny2 он очень посредственный.

David Dalé
А на каком языке ты дистиллировал? MTEB вроде на а...

На русском. И у MTEB есть русские таски (классификация интентов и sts22

David Dalé
А на каком языке ты дистиллировал? MTEB вроде на а...

Формально же в MTEB 100+ языков, только не на всех тасках, конечно

Такой не? https://russiansuperglue.com/ru/leaderboard/2

datascience xc
E5?

Добавил E5 в лидерборд энкодеров предложений, и она его порвала) Спасибо за рекомендацию! И ещё спасибо @dealer_ai, что заметил баг в расчете эмбеддингов для ряда моделей, который я заодно наконец-то исправил.

David Dalé
Добавил E5 в лидерборд энкодеров предложений, и он...

А модели типа Llama могут выступать в качестве энкодеров?

miteigi nemoto
А модели типа Llama могут выступать в качестве энк...

Можно, но не нужно. И они могут выступать только для эмбеддингов

David Dalé
Добавил E5 в лидерборд энкодеров предложений, и он...

Можно добавить на 4к модель 'efederici/e5-base-multilingual-4096' #STS 0.83 Para 0.70 XNLI 0.45 Senti - 0.79 Toxi - 0.96 inap_task - 0.78

Похожие вопросы

Обсуждают сегодня

Подобного рода ;Следующие три строки это директивы ассемблера, ;которые можно не задавать, т.к.работаем в Visual Studio. ;Символ ";" - это начало однострочного комментария ...
Егор Анелькин
3
А еще в перле можно уже @arr1 + @arr2?
Sergei Zhmylove
53
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Привет всем. появился вопрос. Разрабатываю сайт, в данный момент он запущен. Хостинг beget. Добавляю на сайт яндекс метрику с помощью полей client-settings (взято отсюда http...
Andrew
2
Подскажите, где смотреть результат выполнения программы? Код: ;.686 ;Система команд процессора 686 ;.MODEL FLAT,stdcall ;Модель памяти плоская, станда...
Егор Анелькин
5
Где в Астане можно купить мясо для шашлыков?
Dancing Іңұқәһүғө
21
;.686 ;Система команд процессора 686 ;.MODEL FLAT,stdcall ;Модель памяти плоская, стандартный ;вызов процедуры ;option casemap:no...
Егор Анелькин
1
Добрый день подскажите пожалуйста может кто то сталкивался с ошибками Sentry 22.10.0 развернутым из helm чарт в Kubernetes? Изначально 3 дня назад очень стало много событий ух...
Tire4 Finist Devops
1
всем привет почти закончил курс После него можно писать свою операционку? Какие библиотеки надо использовать и куда дальше копать для изучения
Linus
22
почому оно не работает?
Vi Chapmann ٩( 💢•̀ з•́)و Chapmann
19
Карта сайта