Если модель уже натренирована на данных с десятками тысяч фичей,

большинство из которых имеют в итоге нулевую важность - можно ли «убрать нулевые фичи» не тренируя модель заново? (Хочу применить модель к новым данным не тратя время на построение фичей которые модель все равно в итоге не использует)

3 ответов

18 просмотров

проведи эксперимент, подав на вход константы в этих фичах А модель так долго тренируется, что проблема обучить её заново?

Sergey-Grant Автор вопроса
Andrey amber4eg
проведи эксперимент, подав на вход константы в эт...

Один раз не проблема но сценарий регулярный - пробуется большое количество «ключевых слов», в итоге оставляются те которые реально на что-то влияют. Для миллионов документов добавление десятков тысяч констант тоже хотелось бы избежать. С этой точки зрения думаю лучше уж каждый раз перетренировывать

Sergey Grant
Один раз не проблема но сценарий регулярный - проб...

В такой формулирвоке если бы я решал задачу, то сначала строил бейзлайн модель в виде L1-регрессии, отбирающей фичи, а на них уже и модель тренил-тюнил, и инференсил.

Похожие вопросы

Обсуждают сегодня

-- Привет всем. -- Есть csv, проблема в том что он содержит очень много повторов по столбцам и по строкам. -- Решил перекинуть это в базу данных, чтобы было проще. Но я не ша...
Oleg Ivanov
1
Help me to upvote the following datasets so I can reach the next level? Your support would mean a lot 😊 Thank you in advance! https://www.kaggle.com/datasets/agungpambudi/net...
Agung Pambudi
1
Can anyone help me with machine learning? I have some questions
Mohammad reza Mansouri
2
https://www.kaggle.com/code/yousefsaeedian/regime-based-simulations-and-multi-period CAN YOU UPVOTE AND COMMENT FOR MY NOTEBOOK ?🫶🏻🫶🏻🫶🏻🫶🏻
Yousef🌱
1
Привет, подскажите очень частым стал запрос на глубокое знание бд для разработчиков бэка как развивать навыки оптимизации запросов в бд кто может что подсказать? какие книг...
Рома
3
Может кто подсказать какие требования к изображениям для обучения Yolo v8? Как то разрешение, размер выделяемого обьекта в пикселях, оптимальное кол-во изображений. А то я пыт...
Владислав😎
16
читаю Изучаем_SQL_Генерация,_выборка_и_обработка_данных,_3_изд_2021_Алан а вообще какая разница между mysql и postgres , почему некоторые используют первое на новых проектах?
Рома
7
Доброе утро. Подскажите, если если 4 корутины, внутри которых VideoCapture, то будут ли они работать асинхронно? Т.к. нагуглил, что Videocapture в моменте может быть открыт то...
Alexander👨‍💻
19
https://www.kaggle.com/yousefasser/code Can you make me an upvotes? 🙏
Youssef Ashraf
1
Только сейчас дошли руки до Orange pi 5. Это нормально что на нем YOLOv5s выдает 1 кадр раз в 2-3 секунды на CPU? Это без оптимизаций и прочих настроек, просто голый запуск че...
Denis
17
Карта сайта