170 похожих чатов

Привет! Кто знает, существует ли подобный этому leaderboard для русскоязычных embeddings?

27 ответов

58 просмотров

https://github.com/avidale/encodechka

Alexander
Немножко устарело)

Если ты предложишь несколько новых энкодеров (только готовые рецепты и уже кем-то публично описанные, а не просто чьи-то свежие идеи), я буду рад их в лидерборд добавить 🙃

datascience xc
E5?

А это разве энкодер предложений? Мне казалось, это seq2seq модель, в которой ни в один момент нет fixed-sized эмбеддинга предложения. Так что я не думаю, что она будет перформить сильно лучше других T5-подобных моделей, но раз есть запрос - добавлю)

E5 это энкодер. На самом деле это xlm-roberta

в статье вроде про берт писали

datascience xc
E5 это энкодер. На самом деле это xlm-roberta

А, прощу прощения. Я перепутал с UMT5)

datascience xc
E5?

Принимаются ещё заказы)

David Dalé
Принимаются ещё заказы)

Пытался ещё Е5 дистиллировать в rubert-tiny2, но по результатам мтеб стало хуже

datascience xc
От deepvk есть модели

Ок, добавлю их деберту (вроде самая лучшая из всех) https://huggingface.co/deepvk/deberta-v1-base

datascience xc
Пытался ещё Е5 дистиллировать в rubert-tiny2, но п...

А на каком языке ты дистиллировал? MTEB вроде на английском, а у rubert-tiny2 он очень посредственный.

David Dalé
А на каком языке ты дистиллировал? MTEB вроде на а...

На русском. И у MTEB есть русские таски (классификация интентов и sts22

David Dalé
А на каком языке ты дистиллировал? MTEB вроде на а...

Формально же в MTEB 100+ языков, только не на всех тасках, конечно

Такой не? https://russiansuperglue.com/ru/leaderboard/2

datascience xc
E5?

Добавил E5 в лидерборд энкодеров предложений, и она его порвала) Спасибо за рекомендацию! И ещё спасибо @dealer_ai, что заметил баг в расчете эмбеддингов для ряда моделей, который я заодно наконец-то исправил.

David Dalé
Добавил E5 в лидерборд энкодеров предложений, и он...

А модели типа Llama могут выступать в качестве энкодеров?

miteigi nemoto
А модели типа Llama могут выступать в качестве энк...

Можно, но не нужно. И они могут выступать только для эмбеддингов

David Dalé
Добавил E5 в лидерборд энкодеров предложений, и он...

Можно добавить на 4к модель 'efederici/e5-base-multilingual-4096' #STS 0.83 Para 0.70 XNLI 0.45 Senti - 0.79 Toxi - 0.96 inap_task - 0.78

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
вы делали что-то подобное и как? может есть либы готовые? увидел картинку нокода, где всё линиями соединено и стало интересно попробовать то же в ddl на lua сделать. решил с ч...
Victor
8
Подскажите пожалуйста, как в CustomDrawCell(Sender: TcxCustomGridTableView; ACanvas: TcxCanvas; AViewInfo: TcxGridTableDataCellViewInfo; var ADone: Boolean); получить наз...
A Z
7
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
1
Он в одиночку это дело запилил или была какая-то команда?
Aquinary
12
~ 2m21s  nix shell github:nixos/nixpkgs#stack ~  stack ghc -- --version error: … while calling the 'derivationStrict' builtin at /builtin/derivation.nix:...
Rebuild your mind.
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Карта сайта