Как оценить стандартное отклонение (доверительный интервал) точности классификации? Допустим, есть модель

Question

Как оценить стандартное отклонение (доверительный интервал) точности классификации? Допустим, есть модель

бинарной классификации. Прогнали ее на тестовой выборке, получили какое-то значение точности. Ясно, что на другой выборке точность будет немного другой.
Как оценить разброс оценки точности?
На бутстрап не хватает вычислительных ресурсов.
ГПТ предлагает формулу стандартного отклонение для оценки доли = sqrt(p * (1 - p) / n), где p - доля правильных ответов, т.е. точность на тестовой выборке.

#database #programming #russian #software

0

13.06.2023

9 ответов

18 просмотров

Denis Kazakov Автор вопроса

РомаК
тоже интересно. а как бутстрап делаете?

Никак, потому что ресурсов не хватит ))) Если бы делал, то брал бы много раз выборки с повторением из тестовой выборки и каждый раз считал точность. Получил бы распределение оценок точности и для него посчитал бы стандартное отклонение.

0

13.06.2023

РомаК

Denis Kazakov
Никак, потому что ресурсов не хватит ))) Если бы д...

инференс такой долгий, ого

0

13.06.2023

-- --

Если бинарная классификация, то там считается не стандартное отклонение, а доля правильно / неправильно предсказанного

0

13.06.2023

Denis Kazakov Автор вопроса

-- --
Если бинарная классификация, то там считается не с...

Я знаю, но эта доля зависит от тестовой выборки.

0

13.06.2023

-- --

Denis Kazakov
Я знаю, но эта доля зависит от тестовой выборки.

Ок, а как вы тогда оцениваете точность?

0

13.06.2023

Denis Kazakov Автор вопроса

-- --
Ок, а как вы тогда оцениваете точность?

Как всегда - доля правильных ответов. Формула, которую предложила ГПТ, как бы и предназначена для оценки долей, но там, по-моему, другие доли - доля объектов в ген. совокупности, обладающих нужным признаком. А у нас доля правильных ответов модели.

0

13.06.2023

Cycle

Denis Kazakov
Как всегда - доля правильных ответов. Формула, кот...

эта формула же получается из биномиального распределения, его дисперсии, где частота - оценка вероятности успеха какого-либо события. по идее в вашем случае должно подходить

0

13.06.2023

Vladimir F

Denis Kazakov
Я знаю, но эта доля зависит от тестовой выборки.

Еслу считать что каждый эксперимент по классификации это случайная величина распределённая по распредлению Бернулли, с p=точность, то дисперсия этой случйной величины (sigma^2=p*(1-p) ( https://en.wikipedia.org/wiki/Bernoulli_distribution ) Тогда стандардтаная ошибка определения среднего будет sigma/sqrt(n) или sqrt((p*(1-p))/n) Это всё при условии что у вас ошибка классификации на самом деле случайная.

0

13.06.2023

РомаК · Accepted Answer

РомаК

тоже интересно. а как бутстрап делаете?

0

13.06.2023

215 похожих чатов

Как оценить стандартное отклонение (доверительный интервал) точности классификации? Допустим, есть модель

9 ответов

Похожие вопросы