215 похожих чатов

Привет всем. Очень тупой вопрос - может ли переобучиться линейная

регрессия с N предикторами.

Собственно этот вопрос мало где освещается, кроме рекомендаций использовать Лассо и Ридж регрессии в целях регуляризации. Ну, окей. А есть ли способ проверить что конкретно моя простая линейная регрессия с N слагаемыми переобучена в данный момент, кроме как чекнуть ошибку на тестовом и трениров. датасетах?

Корни проблемы : мало данных, число предикторов сравнимо с числом строк и поэтому не хочется резать данные на тест/траин, может быть есть другой способ понять, переобучена ли модель. Может она ваще не переобучается? Или, скажем рекурсивный отбор фич до тех пор пока для всех будет выполняться критерий a<0.05 помогает избежать переобучения.

4 ответов

19 просмотров

Игорь, добрый день. У Вас два варианта: 1) Рекуррентный МНК; 2) Метод пошаговой регрессии в двух вариациях (последовательное включение регрессоров в модель в порядке значимости коэффициентов или последовательное исключение наименее значимых). Продолжать до тех пор, пока не перестанет расти скорректированный R^2

Igor-Danilov Автор вопроса
Dmitrii Evdokimov
Игорь, добрый день. У Вас два варианта: 1) Рекурре...

Большое спасибо. Про реккурентный МНК не слышал, вторым способом пользуюсь, но исключаю регрессоры до тех пор, пока не останутся только значимые. Подумаю над вашей идеей. Буду благодарен за источники)

Igor Danilov
Большое спасибо. Про реккурентный МНК не слышал, в...

Попробуйте всё-таки сначала добавлять регрессоры

Igor Danilov
Большое спасибо. Про реккурентный МНК не слышал, в...

https://ru.m.wikipedia.org/wiki/%D0%A0%D0%B5%D0%BA%D1%83%D1%80%D1%81%D0%B8%D0%B2%D0%BD%D1%8B%D0%B9_%D0%9C%D0%9D%D0%9A В принципе, в Википедии все хорошо написано

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта