Всем привет. Решаю задачу классификации, я новичок в этом деле, а

посоветоваться не с кем (первопроходец по рабочей задаче).
Проблемы такие:
1. На обучении датасет сильно несбалансирован относительно таргета (85% = 0, 15% - 1)
2. Одна фича крайне сильно вылазит вперед по важности по сравнению с остальными

Метрики, на которые ориентируюсь: AUC + F1

Что сделала:
1. Попробовала убрать влиятельную фичу
2. Поигралась с ней, сделала из нее другую фичу
3. При разбиении выборок делала стратификацию по таргету
4. Пробовала простое обучение и кроссвалидацию
5. Подбирала порог принятия решения под задачу бизнеса (мне важно избежать ложно отрицательных ответов, упор на точный преддикт класса 1)

Итог:
1. Мои метрики: AUC = 0,73, F1 = 0,37.
2. Почитала про интерпретацию по AUC, нашла информацию, что 0.7-0.8 - это вполне хорошая модель (не оличная, но пользоваться можно).

Но я чую, что что-то не то.

Может есть советы/рекомендации, куда двинуться, чтобы улучшить метрики?
Или все же ок?

1 ответов

23 просмотра

для дисбаланса используется PR AUC , а не ROC AUC

Похожие вопросы

Обсуждают сегодня

1. https://www.kaggle.com/code/ahmadrezagholami2001/housing-estimation-linear-regression 2. https://www.kaggle.com/code/ahmadrezagholami2001/uncovering-quality-in-wines-logis...
Ahmadreza
1
Hi! Could you please upvote my new notebook? thanks a lot. https://www.kaggle.com/code/melissamonfared/anime-character-generation-dsgan-gan
məru
4
upvote plz https://www.kaggle.com/code/bassetkerouche/swapping-face?scriptVersionId=207300096
benkerrouche Statoinary
1
-- Привет всем. -- Есть csv, проблема в том что он содержит очень много повторов по столбцам и по строкам. -- Решил перекинуть это в базу данных, чтобы было проще. Но я не ша...
Oleg Ivanov
1
Как считаете - вопрос на собесе: «Как быстрее всего запустить ec2 машину в aws (в чистом аккаунте) и показать вывод от любой команды с нее» не очень ли сложный для условного м...
Sergey
50
Господа, у меня вопрос. Что вообще такое этот ваш data science и data scientists? А то гуглю, а мне какую-то расплывчатую фигню говорят.
Inkosta
44
Исходя из ваших комментариев, получается, что чтобы получить марты в CH из данных в PG, неправильно тянуть сырые данные в CH и там их обрабатывать, лепить справочники и джойни...
unhingedlunatic
42
Hi could you please help me with my two new projects? https://www.kaggle.com/code/hesankazemnia/rice-image-classification-cnn-pytorch https://www.kaggle.com/code/hesankazemnia...
Hesan
6
hi, Can you upvote? https://www.kaggle.com/code/durjoychandrapaul/rag-q-a-system-by-langchain-huggingface-for-pdf?scriptVersionId=204704280
A
1
Could you upvote and comment please? https://www.kaggle.com/code/tatianapetrushkevich/beginner-images https://www.kaggle.com/code/tatianapetrushkevich/python-for-beginners1 ...
Tazziyana
7
Карта сайта