Всем привет. Возникли вопросы при изучении SVM. Буду рад помощи) 1.

Question

Всем привет. Возникли вопросы при изучении SVM. Буду рад помощи) 1.

Отличие гиперплоскости у SVM от гиперплоскости у log regression в том, что SVM строит гиперплоскость, опираясь в основном на граничные точки (у них веса намного больше), а логистическая регрессия опираясь на все точки?
2. Правильно ли я понимаю, что при параметре гамма, стремящемся к нулю, гиперплоскость у SVM будет стремиться к гиперплоскости у LR?
3. Если SVM дает более сбалансированную границу в отличие от логистической регрессии, то почему бы всегда не выбирать SVM вместо LR?

#database #programming #russian #software

0

20.09.2023

4 ответов

20 просмотров

Niceguy Автор вопроса

Simple Dimple
1. Так вроде бы чисто математически получается в с...

Во втором вопросе я не имел в виду эквивалентность в пределе. Я имел в виду, что гиперплоскость у SVM будет наклоняться в сторону гиперплоскости у LR. А предположение (возможно неверное, я только начал изучать SVM), из которого я сделал вывод, кроется в 1ом вопросе - мы будем учитывать все точки (как у LR, хоть и с другой функцией потерь), а не только граничные. P.s. Про гамму я прикрепил фотку, что это за параметр По поводу 3его пункта - я в курсе про ММП и теореме, говорящей что для ряда распределений оценка будет хорошей (оптимальной, если не изменяет память). Но все же, у меня не укладывается кое-что в голове. Если мы глянем на картинку выше, то очевидно, что прямая у SVM лучше классифицирует, чем у LR. Так происходит исключительно в частном случае четкой границы? А в общем случае при нечеткой границе теорема про ММП будет работать и LR будет показывать лучшие результаты?

0

20.09.2023

Niceguy Автор вопроса

Niceguy
Во втором вопросе я не имел в виду эквивалентность...

Про движение в сторону LR, но не эквивалентность попытался нарисовать, что имею в виду))

0

20.09.2023

Simple Dimple

Niceguy
Во втором вопросе я не имел в виду эквивалентность...

Почему бы ей не наклоняться? Не понял. Ну будет и будет Я бы сказал, SVM более робастная модель. Логрег идеален как бы в вакууме. А если есть какой-то существенный шум, то SVM может лучше выстрельнуть

0

20.09.2023

Simple Dimple · Accepted Answer

1. Так вроде бы чисто математически получается в случае линейно разделимой выборки 2. Уже забыл, как строится SVM, нагуглил здесь: https://neerc.ifmo.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%BF%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_(SVM) Видимо, гамма - это С. Откуда вывод об эквивалентности логистической регрессии? Минимизация весов в SVM вроде бы все-таки не равносильно тому, что делается в логистической регрессии. Ну и кроме того в SVM еще 2 ограничения и с С=0 эта система уравнений вообще не имеет решения в случае линейно неразделимой выборки. 3. У логистической регрессии есть обоснование через ММП, а он дает лучший класс оценок, чем что-либо. (В случае правильной спецификации модели, конечно) Кроме того SVM долгий

215 похожих чатов

Всем привет. Возникли вопросы при изучении SVM. Буду рад помощи) 1.

4 ответов

Похожие вопросы