Если модель уже натренирована на данных с десятками тысяч фичей,

Question

Если модель уже натренирована на данных с десятками тысяч фичей,

большинство из которых имеют в итоге нулевую важность - можно ли «убрать нулевые фичи» не тренируя модель заново? (Хочу применить модель к новым данным не тратя время на построение фичей которые модель все равно в итоге не использует)

#catboost #database #russian

0

27.03.2022

3 ответов

23 просмотра

Sergey Grant Автор вопроса

Andrey amber4eg
проведи эксперимент, подав на вход константы в эт...

Один раз не проблема но сценарий регулярный - пробуется большое количество «ключевых слов», в итоге оставляются те которые реально на что-то влияют. Для миллионов документов добавление десятков тысяч констант тоже хотелось бы избежать. С этой точки зрения думаю лучше уж каждый раз перетренировывать

0

27.03.2022

See All

Sergey Grant
Один раз не проблема но сценарий регулярный - проб...

В такой формулирвоке если бы я решал задачу, то сначала строил бейзлайн модель в виде L1-регрессии, отбирающей фичи, а на них уже и модель тренил-тюнил, и инференсил.

0

27.03.2022

Andrey amber4eg · Accepted Answer

Andrey amber4eg

проведи эксперимент, подав на вход константы в этих фичах А модель так долго тренируется, что проблема обучить её заново?

0

27.03.2022

16 похожих чатов

Если модель уже натренирована на данных с десятками тысяч фичей,

3 ответов

Похожие вопросы