170 похожих чатов

Привет! Кто знает, существует ли подобный этому leaderboard для русскоязычных embeddings?

27 ответов

62 просмотра

https://github.com/avidale/encodechka

Alexander
Немножко устарело)

Если ты предложишь несколько новых энкодеров (только готовые рецепты и уже кем-то публично описанные, а не просто чьи-то свежие идеи), я буду рад их в лидерборд добавить 🙃

datascience xc
E5?

А это разве энкодер предложений? Мне казалось, это seq2seq модель, в которой ни в один момент нет fixed-sized эмбеддинга предложения. Так что я не думаю, что она будет перформить сильно лучше других T5-подобных моделей, но раз есть запрос - добавлю)

E5 это энкодер. На самом деле это xlm-roberta

в статье вроде про берт писали

datascience xc
E5 это энкодер. На самом деле это xlm-roberta

А, прощу прощения. Я перепутал с UMT5)

datascience xc
E5?

Принимаются ещё заказы)

David Dalé
Принимаются ещё заказы)

Пытался ещё Е5 дистиллировать в rubert-tiny2, но по результатам мтеб стало хуже

datascience xc
От deepvk есть модели

Ок, добавлю их деберту (вроде самая лучшая из всех) https://huggingface.co/deepvk/deberta-v1-base

datascience xc
Пытался ещё Е5 дистиллировать в rubert-tiny2, но п...

А на каком языке ты дистиллировал? MTEB вроде на английском, а у rubert-tiny2 он очень посредственный.

David Dalé
А на каком языке ты дистиллировал? MTEB вроде на а...

На русском. И у MTEB есть русские таски (классификация интентов и sts22

David Dalé
А на каком языке ты дистиллировал? MTEB вроде на а...

Формально же в MTEB 100+ языков, только не на всех тасках, конечно

Такой не? https://russiansuperglue.com/ru/leaderboard/2

datascience xc
E5?

Добавил E5 в лидерборд энкодеров предложений, и она его порвала) Спасибо за рекомендацию! И ещё спасибо @dealer_ai, что заметил баг в расчете эмбеддингов для ряда моделей, который я заодно наконец-то исправил.

David Dalé
Добавил E5 в лидерборд энкодеров предложений, и он...

А модели типа Llama могут выступать в качестве энкодеров?

miteigi nemoto
А модели типа Llama могут выступать в качестве энк...

Можно, но не нужно. И они могут выступать только для эмбеддингов

David Dalé
Добавил E5 в лидерборд энкодеров предложений, и он...

Можно добавить на 4к модель 'efederici/e5-base-multilingual-4096' #STS 0.83 Para 0.70 XNLI 0.45 Senti - 0.79 Toxi - 0.96 inap_task - 0.78

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта