215 похожих чатов

Делаю модель для мультиклассовой классификации датасет: 20к строк,

признак sentence - предложения с отзывами (о книгах, фильмах и тд),
целевой признак label - оценка отзыва от 1 до 10 включительно, где 1 - отзыв негашивный, 10 - отзыв поизитивный

__________

пробовал случайный лес - RMSE 2.6 (65% точности - плохо)

пробовал стохастический градиентный спуск (SGD) с Tfidf векторизатором и Tfidf трансформеров числовых значений - RMSE 1.9 (72% точности - лучше, но плохо)

пробовал прикрутить решетчатый поиск по 5 блокам к SGD - 75% точности, стало лучше, но не намного

__________

мне кровь из носу нужен результат 80%,
подскажите, пожалуйста, что можно еще попробовать для этой задачи?

22 ответов

32 просмотра

а ты предварительно обработал типа лемматизацию и стемминг, удаление стоп-слов? а потом может расширение признаков сделать типа длина отзыва, использование специфических слов или фраз, которые могут быть индикаторами положительных или отрицательных отзывов. как вариант

занимается, но я хз что у него там за задачка

Так а чем вы по итогу признаки из текста достаете ?

Дмитрий-Неледва Автор вопроса
Viktor
Так а чем вы по итогу признаки из текста достаете ...

тфидф дает числовые признаки, а транформер их преобразовывает - это в SGD модели

Дмитрий Неледва
тфидф дает числовые признаки, а транформер их прео...

Попробуйте взять что-то более современное - Bert, T5, Roberta Там могут быть сложности, если отзывы длинные, но дополнительные признаки должны увеличить точность Ну или дотюнить саму модельку

Дмитрий-Неледва Автор вопроса
Viktor
Попробуйте взять что-то более современное - Bert, ...

я думал, но у меня железа нет, долго будет дообучаться :(

Дмитрий Неледва
тфидф дает числовые признаки, а транформер их прео...

Тфидф векторайзер уже имеет под капотом трансформер. Трансформер нужно использовать с каунтвекторайзером же.

Дмитрий Неледва
я думал, но у меня железа нет, долго будет дообуча...

Ну тогда предобученными извлекайте признаки, будет быстрее

Дмитрий-Неледва Автор вопроса
Viktor
Ну или пойти обучать на Kaggle или Colab

а сколько стоит колаб? в месяц

Дмитрий Неледва
а сколько стоит колаб? в месяц

https://console.cloud.google.com/marketplace/product/colab-marketplace-image-public/colab

Дмитрий Неледва
а сколько стоит колаб? в месяц

у вас что то настолько большое что в бесплатный колаб не влезает? на каггле больше мощности, если что

Дмитрий-Неледва Автор вопроса
Дмитрий Неледва
а сколько стоит колаб? в месяц

Так есть же от Яндекса аналог платный

Elmo
Так есть же от Яндекса аналог платный

Который стоит миллион в наносекунду и удобный, аки вилка в глазу

Дмитрий Неледва
берт на нем будет файнтьюнится целый день

Достаточно лишь часть слоев разморозить, а не учить с 0

Дмитрий-Неледва Автор вопроса
Viktor
Достаточно лишь часть слоев разморозить, а не учи...

как это сделать? или как об этом найти информацию? что нужно искать?

Дмитрий Неледва
как это сделать? или как об этом найти информацию?...

https://github.com/e0xextazy/vkcup2022-first-stage Тут решается подобная задача, используя fp16 для экономии памяти и какие-то ещё трюки

Дмитрий-Неледва Автор вопроса

Похожие вопросы

Обсуждают сегодня

а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Всем привет! Подскажите. Я написал приложение на Delphi 10.2 Tokyo под Windows 10. И передо мной стал вопрос о том чтобы сделать это приложение кроссплатформенным (под Linux и...
Дмитрий Завгородний
24
Привет всем. Подскажите где можно посмотреть, какая версия электрон, поддерживает версии windows? Некий changelog. Мне бы желательно, поддержку 7,8,10... latest, как понимаю и...
Anonym Squad
21
Портфолио: Зовут меня Александр, мне 36 лет. Город Пушкино. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github....
Magic
10
Не ну фпц - это уже просто троллинг какой-то. Элементарный код нельзя собрать. ЧЯДНТ? program Project1; {$mode delphi} uses SysUtils, Classes, Generics.Collections; var...
Peter
4
а где есть mysql cloud кроме яндекс-клауд?
Oleg Nosov
13
Есть ли смысл устраиваться на 1с ? Даст это плюс в дальнейшем трудоустройстве на php? Просто у меня в городе вакансий на пхп нету. Или лучше удаленно искать. Опыта работы нету...
Azamat
14
hi im a cs student. i need some advice from people who have enough experience in Embedded Software. I need to know whether this profession is suitable for me. I have watched s...
Sahand 🏔️
8
А кто-нибудь запихивал сборку перловых модулей/образов с perl приложениями в окружения без интернета (в специализированном CI/CD)? У меня сейчас есть ряд cpanfile, которые н...
Andrey Smirnov / 𝓪𝓵𝓵𝓽𝓮𝓻 /
14
Кстати а покупал кто-нибудь ЭЦП для подписи кода? А то у меня на некоторых компах и ОС иногда SmartScreen винды программу за вирус принимал. Если купить такую ЭЦП и подписыват...
Дмитрий Завгородний
15
Карта сайта