Всем привет. Решаю задачу классификации, я новичок в этом деле, а

посоветоваться не с кем (первопроходец по рабочей задаче).
Проблемы такие:
1. На обучении датасет сильно несбалансирован относительно таргета (85% = 0, 15% - 1)
2. Одна фича крайне сильно вылазит вперед по важности по сравнению с остальными

Метрики, на которые ориентируюсь: AUC + F1

Что сделала:
1. Попробовала убрать влиятельную фичу
2. Поигралась с ней, сделала из нее другую фичу
3. При разбиении выборок делала стратификацию по таргету
4. Пробовала простое обучение и кроссвалидацию
5. Подбирала порог принятия решения под задачу бизнеса (мне важно избежать ложно отрицательных ответов, упор на точный преддикт класса 1)

Итог:
1. Мои метрики: AUC = 0,73, F1 = 0,37.
2. Почитала про интерпретацию по AUC, нашла информацию, что 0.7-0.8 - это вполне хорошая модель (не оличная, но пользоваться можно).

Но я чую, что что-то не то.

Может есть советы/рекомендации, куда двинуться, чтобы улучшить метрики?
Или все же ок?

1 ответов

6 просмотров

для дисбаланса используется PR AUC , а не ROC AUC

Похожие вопросы

Обсуждают сегодня

Только сейчас дошли руки до Orange pi 5. Это нормально что на нем YOLOv5s выдает 1 кадр раз в 2-3 секунды на CPU? Это без оптимизаций и прочих настроек, просто голый запуск че...
Denis
10
Всем привет! подскажите пожалуйста как можно увеличить качество фото?
Evgeniy
19
Доброе утро. Подскажите, если если 4 корутины, внутри которых VideoCapture, то будут ли они работать асинхронно? Т.к. нагуглил, что Videocapture в моменте может быть открыт то...
Alexander👨‍💻
19
Кто работал с NPU на Рокчипе, можете подсказать, инициализирую модель (см. скрин 1), запускаю и на "init_runtime" выдает ошибку "undefined symbol: rknn_set_core_mask" (см. скр...
Denis
1
Я пожалуй ещё раз брошу клич: кто-нибудь хочет в рабство в ОЭЗ Алабугу на позицию инженера CV? Работы много, задачи сложные, ЗП высокая. Я передам контакт напрямую в HR.
Maxim 👀 Osminin #Slowpoke3D
13
Could you upvote please? https://www.kaggle.com/code/mehmetisik/sentiment-analysis-twitter-nlp-machine-learning https://www.kaggle.com/code/mehmetisik/user-based-collaborati...
MHT Mht
1
А вы в атоме работаете да?
Alexander x*❄️❅❆
11
I have this grayscale image in opencv I want to change gray quadrilaterals to black like others It means i want to change gray color of specific color to black How can i do th...
@. .@
7
Всем привет! Подскажите пожалуйста С помощью OpenCVSharp работаю с rtsp потоком Но почему-то через +- 2 минуты поток зависает без всяких ошибок В какую сторону копать? С ...
Evgeniy
3
всем драсте, занимаемся активно макетами печатной продукции каждый раз при закае нам шлют pdf или ai, любой вектор кароч чтоб внести заказ нужно каждый раз вручную создавать ...
Vlados
4
Карта сайта