ГА - это какой-то шаманизм. При каждом запуске слишком разные результаты, не получается найти оптимальные параметры для ГА и мутации, чтобы он работал более-менее стабильно. Подскажите, в сторону какого алгоритма посмотреть, чтобы пусть он в 2 раза медленнее, но более стабильно шел в сторону настоящего глобального минимума без настройки кучи параметров?
Пчел, мух, обезьян, серых волков, роя частиц и прочих животных и отжигов.. Или проще не мучаться и просто SHAP?
boruta
Спасибо, гляну 👌
Верно ли я понимаю, что boruta штрафует за количество фич? Борута выбрала хорошую комбинацию (5 фич из ~3000). SHAP выбрала комбинацию чуть лучше на 1%, но количество фич 42
В том числе. Она делает N проходов, на каждом из которых: 1) Присоединяет к датасету копии его переменных, но перемешанные в случайном порядке; 2) Строит модель, например, лес; 3) Считает важность каждой переменной: как настоящей, так и перемешанной, т.н. "теневой"; 4) Ранжирует и удаляет все переменные, которые оказались менее значимыми, чем самая важная случайная. То есть, убирает на каждом проходе подмножество переменных, которые не особо отличаются в контексте доступного на данный момент множества от шума; 5) Повторяет заново.
Обсуждают сегодня