дистилляции нейросетей до состояния интерпретируемых параметрических функций? Здесь «интерпретируемая» употреблено как синоним «не слишком длинная», а также как «не очень сложная» (в математическом смысле сложности функций).
Простой пример: экспоненту аппроксимировать нейросетью - можно. А вот можно ли, наоборот, подобрать какую-то не очень сложную функцию под эту обученную нейросеть? (идеально в приведенном примере будет показательная функция с оптимизируемым основанием и параметром показателя).
Если правильно понял, то вы хотите подать на вход точки а на выходе получить функцию, которая аппроксимирует эти точки, причём функция должна быть не чёрным ящиком. Да, можно, вы можете апроксимировать каким-нибудь полиномом например или любой другой функцией, подбирая веса(коэффициенты) методами той же нейронки или ml или с помощью готовых библиотек, например numpy(не знаю как у них реализовано)
Да, хочется "не черный ящик". При этом принципиально полином от нейросети не отличается. Полином - та же нейросеть, только в качестве нелинейности будет возведение в степень. Хочется не композицию из фиксированного количества одинаковых функций (скажем, степеней аргумента - получится полином), а именно подбор "архитектуры" (заимствую термин из нейросетевых) без ограничения на семейство используемых элементарных функций.
Можно придумать разные конструкции типа корня, степени и тд и комбинировать их в переборе (а лучше генетич алгоритмами, тут сходимость есть в отличии от простого перебора и не нужна дифференцируемость функции) К сожалению другого решения не знаю, но возможно оно есть )
Да, вот именно об этом и спрашиваю. Видели ли исследования, в которых показано, как это сделать быстро и правильно? Мне тоже кажется, что это должна быть генетическая оптимизация.
Не так понял, исследования не встречал, но если знакомы с генетич. алгоритмами, то что-то простое реализовать не сложно будет по этой теме
Да, думал именно в эту сторону копать. Спасибо!
Уважаемые чатлане, если у кого-то появятся идеи на этот предмет, буду благодарен за ссылки!
см. пакет gplearn
Спасибо!
Обсуждают сегодня