Привет! Хочу сделать модельку на классификацию: английский язык(“compliance”), транслитерация(“perestanovka”), абракадабра(“ghftaw”).

Question

Natural Language Processing

Alexander

Привет! Хочу сделать модельку на классификацию: английский язык(“compliance”), транслитерация(“perestanovka”), абракадабра(“ghftaw”).

Что можно попробовать кроме как обучить FastText или Tf-Idf(chars)+LogReg?

#nlp #programming #russian

0

23.08.2023

11 ответов

20 просмотров

Liza Nosova

Возможно, тут вообще будет довольно сильной фичей статистика длины бертового токена в этой штуковине и количество неизвестных берту токенов, даже без самого трансформера

0

23.08.2023

Ilya Gusev

хорошо обучить fasttext

0

23.08.2023

Alexander Автор вопроса

Liza Nosova
Возможно, тут вообще будет довольно сильной фичей ...

То есть прогнать через токенайзер и посмотреть среднюю длину токена? У транслитерации и абракадабры наверно плюс/минус одно и тоже будет. Он этого мало видел

0

23.08.2023

Liza Nosova

Alexander
То есть прогнать через токенайзер и посмотреть сре...

Интуитивно кажется, что у транслитерации будет хотя бы что-то произносимое, но не проверяла

0

23.08.2023

Erdeni

Транслитерацию можно обучать на русском словаре с транслитом. Возьмете 2 больших словаря: русский (с транслитом), английский и сделаете из них мешок токенов. Потом классификация: английский, русский транслит, не найдено. Не найдено - это будет абракадабра. Тут возможно нужны будут лемматизация и стемминг.

0

23.08.2023

Alexander Автор вопроса

Erdeni
Транслитерацию можно обучать на русском словаре с ...

В словаре нет частотности. Мне кажется это плохо. Ну и вопрос был какой инструмент использовать) как датасет составить, вроде вариант только один)

0

23.08.2023

Erdeni

Alexander
В словаре нет частотности. Мне кажется это плохо. ...

Из-за того, что русский с транслитом является нестандартом, то предобученные мультиязычные модели по типу BERT не подойдут. Я предлагаю простую модель Bag of word - FastText, Gensim.

0

23.08.2023

Liza Nosova

Alexander
В словаре нет частотности. Мне кажется это плохо. ...

А если взять частотный словарь, то - внезапно - есть

0

23.08.2023

Erdeni

Liza Nosova
А если взять частотный словарь, то - внезапно - ес...

А зачем частота и лог. рег?) Если можно пройти циклом по каждому слову и однозначно сказать - это английское слово, транслит или не найдено.

0

23.08.2023

Erdeni

Erdeni
Транслитерацию можно обучать на русском словаре с ...

Лемматизацию английского транслита еще не изобрели. Вам придется сначала сделать обратный транслит с английского алфавита на русский алфавит, а потом пройтись лемматизатором от pymorphy2.

0

23.08.2023

Andrew Grigorev · Accepted Answer

Andrew Grigorev

можно проще https://github.com/google/cld3 (или вообще небольшой трансформер, который сам разберется где ему надо биграммы а где триграммы)

0

23.08.2023

170 похожих чатов

Привет! Хочу сделать модельку на классификацию: английский язык(“compliance”), транслитерация(“perestanovka”), абракадабра(“ghftaw”).

11 ответов

Похожие вопросы