170 похожих чатов

Друзья, у кого-нибудь есть инструкция как обучить FastText? Я хочу делать

sentence similarity of topic names на английском, но их много. Пару десятков миллионов и мне нужен размер конечный, чтобы был tiny не больше 50 Мб.
Что подскажете?

Хотя проще взять all-MiniLM-L6-v2

8 ответов

12 просмотров

Инструкции по обучению fasttext есть на сайте fasttext, или, альтернативно, на сайте gensim. Чтобы он был был маленький, нужно установить размерность вектора небольшую, и небольшой же размер словаря.

Erdeni- Автор вопроса
David Dalé
Инструкции по обучению fasttext есть на сайте fast...

Я вот думал сделать квантование на 8 бит. Но чёт это дело пахнет каким-то олдскулом

Erdeni
Я вот думал сделать квантование на 8 бит. Но чёт э...

Да не, нормально. Но квантование с 32 до 8 бит уменьшает размер в 4 раза, так что стандартный предлбученный FT у тебя ужмется только с 4гб до 1гб условно. Можно еще взять мой пакет compress-fasttext; он делает прунинг и pq-квантизацию, так что ту же модель он может ужать условно до 40мб с небольшой потерей качества и некоторым замедлением инференса

Erdeni- Автор вопроса
David Dalé
Да не, нормально. Но квантование с 32 до 8 бит уме...

Как раз ваша статья на Хабре навеяла на эти мысли. В идеале своя Natasha 25 Мб, но не только новости 2019 г. 😩 На проде не бывает GPU, к сожалению, в большинстве случаев.

Erdeni
Как раз ваша статья на Хабре навеяла на эти мысли....

Ну rubert-tiny вроде на cpu работает довольно быстро, и для прода его можно экспортнуть в TorchScript или onnx

David Dalé
Да не, нормально. Но квантование с 32 до 8 бит уме...

Ещё бы я добавил что есть проблема получения нулевых векторов для коротких слов. Этой проблемы нет у моделей размером с ~200Mb.

Anton
Ещё бы я добавил что есть проблема получения нулев...

Там при прунинге можно указать свои тексты с частотами; тогда у частых слов будет приоритет на сохранение ненулевых векторов.

Похожие вопросы

Обсуждают сегодня

а через ESC-код ?
Alexey Kulakov
29
30500 за редактор? )
Владимир
47
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
5
вы делали что-то подобное и как? может есть либы готовые? увидел картинку нокода, где всё линиями соединено и стало интересно попробовать то же в ddl на lua сделать. решил с ч...
Victor
8
Ребят в СИ можно реализовать ООП?
Николай
33
Подскажите пожалуйста, как в CustomDrawCell(Sender: TcxCustomGridTableView; ACanvas: TcxCanvas; AViewInfo: TcxGridTableDataCellViewInfo; var ADone: Boolean); получить наз...
A Z
7
Карта сайта