понял тебя, то точность и полнота не зависят от соотношения размеров классов.
а tpr, fpr зависят, см классический пример: 1000100, 100 статей по математике - хотим их выделить. плохой алгоритм, дающий правильный ответ на 95 математических и 50000 нематематических статьях, имеет tpr=0.95, fpr=0.05, что близко к идеальному алгоритму, у которого tpr=1, fpr=0.
в общем, если positive класс крайне маленький, то auc-roc, измеряя долю неверно принятых ответов относительно общего числа отрицательных, может выдавать неадекватную оценку.
Спасибо за ответ, fpr вроде в примере 0.5 выходит? но в любом случае precision 0.0019, пример это хорошо, но я боюсь что без примера, интуитивно, я не смогу ответить поч pr auc лучше в дисбалансной выборке
Обсуждают сегодня