215 похожих чатов

Привет всем. Очень тупой вопрос - может ли переобучиться линейная

регрессия с N предикторами.

Собственно этот вопрос мало где освещается, кроме рекомендаций использовать Лассо и Ридж регрессии в целях регуляризации. Ну, окей. А есть ли способ проверить что конкретно моя простая линейная регрессия с N слагаемыми переобучена в данный момент, кроме как чекнуть ошибку на тестовом и трениров. датасетах?

Корни проблемы : мало данных, число предикторов сравнимо с числом строк и поэтому не хочется резать данные на тест/траин, может быть есть другой способ понять, переобучена ли модель. Может она ваще не переобучается? Или, скажем рекурсивный отбор фич до тех пор пока для всех будет выполняться критерий a<0.05 помогает избежать переобучения.

4 ответов

17 просмотров

Игорь, добрый день. У Вас два варианта: 1) Рекуррентный МНК; 2) Метод пошаговой регрессии в двух вариациях (последовательное включение регрессоров в модель в порядке значимости коэффициентов или последовательное исключение наименее значимых). Продолжать до тех пор, пока не перестанет расти скорректированный R^2

Igor-Danilov Автор вопроса
Dmitrii Evdokimov
Игорь, добрый день. У Вас два варианта: 1) Рекурре...

Большое спасибо. Про реккурентный МНК не слышал, вторым способом пользуюсь, но исключаю регрессоры до тех пор, пока не останутся только значимые. Подумаю над вашей идеей. Буду благодарен за источники)

Igor Danilov
Большое спасибо. Про реккурентный МНК не слышал, в...

Попробуйте всё-таки сначала добавлять регрессоры

Igor Danilov
Большое спасибо. Про реккурентный МНК не слышал, в...

https://ru.m.wikipedia.org/wiki/%D0%A0%D0%B5%D0%BA%D1%83%D1%80%D1%81%D0%B8%D0%B2%D0%BD%D1%8B%D0%B9_%D0%9C%D0%9D%D0%9A В принципе, в Википедии все хорошо написано

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
Подскажите, а есть vault lite или ченить такое?) А то нужен вольт для похода в вольт, но весит он ~500 мб) как-то многовато для парочки запросов ))
Alexandr Orloff
17
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Карта сайта