Коллеги, вернусь к своим классификационным трагедиям. напомню, тексты от 50

Question

Коллеги, вернусь к своим классификационным трагедиям. напомню, тексты от 50

до 5к слов, медиана 750, текстов было 750 сэмплов, F1 0.72 (плохая точность, сносная полнота).
Сегодня смог раздобыть больше данных, стало 1250 сэмплов, с радостью отправил учиться (логрег + тф-идф н-граммы слов), но метрика не только не выросла, но и на пару пунктов упала.

Подскажите стратегию дальше, пожалуйста. Попробовать надумать фич? Попробовать какой-то предобученный берт (видимо, крупноватые тексты для бертов из коробки, но можно же схитрить).

Тексты - диалоги двух человек, один из которых может выражать негатив, если это происходит, мы считаем диалог негативным. Нужно научиться такие диалоги выделять.

#nlp #programming #russian

0

10.08.2022

3 ответов

23 просмотра

Kir L Автор вопроса

David Dalé
Пока общая выборка одна и та же, эксперимент чисты...

но ведь суть эксперимента как раз в увеличении выборки ... гм.

0

10.08.2022

Gleb Gutnik

Попробуйте бертом все-таки заэнкодить, есть либы, которые из коробки поставляют кодировку по кускам со стаком в один эмбеддинг. Например, PretrainedTransformerEmbedder из allennlp (http://docs.allennlp.org/v0.9.0/api/allennlp.modules.token_embedders.html#pretrained-transformer-embedder) Можно захардкодить при желании, но зачем, когда есть готовое

0

10.08.2022

David Dalé · Accepted Answer

David Dalé

Пока общая выборка одна и та же, эксперимент чистый. А если ты запустил с одним сидом CV на разных выборках, то результаты не будут сопоставимыми.

0

10.08.2022

170 похожих чатов

Коллеги, вернусь к своим классификационным трагедиям. напомню, тексты от 50

3 ответов

Похожие вопросы