Хм, дамы и господа, подскажите, пожалуйста. Скорее всего, из банковской

Question

Хм, дамы и господа, подскажите, пожалуйста. Скорее всего, из банковской

сферы. Предположим, я хочу сделать модель регрессии, в которой будет около 50 предикторов, но я хочу её сделать не менее точной, чем сейчас мой случайный неинтерпретируемый лес. Он даёт мне sMAPE в 10%. Куда копать? Что читать?
В принципе, можно взять и во всех деревьях посчитать, куда в среднем переменная сдвигает значение целевой переменной, но это всё же не настолько интерпретируемо, наверное. как мне хотелось бы.

#database #programming #russian #software

0

15.04.2021

5 ответов

22 просмотра

Eva Shelley Автор вопроса

Хм, про дистилляцию деревом интересно. Да, я как-то glm упустил из виду, надо будет попробовать. Спасибо!

0

15.04.2021

Eva Shelley Автор вопроса

Дмитрий Симаков
Таргет энкодинг + простая модель. Для задач клас...

Да, я таргет-энкодинг взял из катбуста, он у них крутой. А вот насчёт биннинга непрерывных переменных действительно надо посмотреть, спасибо!

0

15.04.2021

Дмитрий Симаков

Eva Shelley
Да, я таргет-энкодинг взял из катбуста, он у них к...

Инфу про кэтбуст проверял на практике?) Ни на что не намекаю, но мало ли.

0

15.04.2021

Eva Shelley Автор вопроса

Дмитрий Симаков
Инфу про кэтбуст проверял на практике?) Ни на что ...

Вообще, я юзал какбуст и норм было. 🤔

0

15.04.2021

Дмитрий Симаков · Accepted Answer

Таргет энкодинг + простая модель. Для задач классификации часто используется woe-биннинг, когда переменные бьются на насколько бинов, затем эти бины объединяются между собой так, чтобы обеспечить монотонность признака по таргету. Ну и собственно бины кодируется woe (определённая статистика над таргетом, которая имеет рисковую интерпретацию). Такой подход в ряде случаев прокачивает линейную модель до уровня бустинга и делает ее даже более стабильной. Но есть проблема, для задачи регрессии нет готовой реализации биннинга. Закодировать можно и средним значением. Биннинг + монотонность можно получить из лгбм с одним деревом и ограничением на монотонность. Но это все не так тривиально. Если идти по пути просто таргет энкодинга (то есть без применения его к непрерывным переменным при помощи биннинга), то надо разные стратегии проверять, использовать двойную кросс-валидацию и так далее. В общем не самое простое занятие.

215 похожих чатов

Хм, дамы и господа, подскажите, пожалуйста. Скорее всего, из банковской

5 ответов

Похожие вопросы