170 похожих чатов

Добрый день, коллеги! Может кому то попадалась статья про сравнение

качества эмбединг-моделей Word2Vec, fastText, ELMo, BERT? Был бы благодарен за наводку ) Интересует качество в сходстве результирующих векторов для заранее известных пар предложений/фраз. Т.е., например, отдаем всем моделям "горячая вода" и "горячий чай" и считаем сходство векторов на выходе. У кого ближе, тот и молодец. )

6 ответов

33 просмотра

не знаю как word2vec, но для трансформеров даже графички всякие тут https://paperswithcode.com/sota/semantic-textual-similarity-on-sts-benchmark

Я такое сравнение делал для русского языка, собирался этой зимой в статью запилить, но руки так и не дошли. Чуть позднее могу скинуть код и данные.

Трансформеры надо использовать тк так модель можно затюнить на ось смысла, из коробки там будут скачки качества в разных сеттингах и жаргонах. Из коробки будет не очень работать и порог подобрать сложно. Условно горячий чай, тёплый компот сходство 0.9 тк напитки. Но если другая ось и надо внутри разделять их типы то тогда сходство станет 0.2

Konstantin-Galagan Автор вопроса

Ну для моей цели достаточно было бы упрощённого подхода. Все модели тюним на одном датасете, целевые наборы так же одинаковые, сходимость считаем одинаково

Konstantin Galagan
Ну для моей цели достаточно было бы упрощённого по...

Я бы ванговал что из коробки модель не подойдёт, тк она общие читчат знания содержит, конечно она даст сходство 0.8 на 2 текста про технологии, и 0.3 сходство на технологии и биологию скажем. Но вот большего добиться от неё не удавалось нам

David Dalé
Я такое сравнение делал для русского языка, собира...

Обещанный текст про сравнение энкодеров предложений: https://habr.com/ru/post/669674/ Код вот https://github.com/avidale/encodechka, но сначала, чтобы понять суть, рекомендую таки прочитать текст)

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта