215 похожих чатов

Всем привет! Как ни формулировал запрос в гугл, так и

не смог найти внятного ответа. Либо это какая-то супер очевидная вещь, поэтому нигде даже не акцентируется на этом внимание, либо никто кроме меня этим вопросом не задается (ставлю, конечно, на первое). Либо не так ищу

Подскажите пожалуйста, в чем идея применения к базовым алгоритмам (деревьям) в ансамблевых методах одинаковых гиперпараметров-ограничений (max_depth, max_leaf_nodes, max_features и т.д.). Почему, например, в градиентном бустинге я на n-ой итерации не могу построить дерево глубиной 5, а на n+1-ой глубиной 10, если сами базовые алгоритмы предлагается строить независимо? Я могу использовать GridSearchCV для перебора значений геперпараметра в некотором диапазоне ('max_depth': [3,4,5]), но в каждом случае этот гиперпараметр будет применяться к каждому дереву в цепочке, вместо того, чтобы осуществить перебор в момент построение дерева на очередной итерации

6 ответов

15 просмотров

можно изменять гиперпараметры в ходе обучения https://github.com/microsoft/LightGBM/blob/master/examples/python-guide/advanced_example.py#L126

Artyom Gruzdev
можно изменять гиперпараметры в ходе обучения http...

А есть рисерч на тему, даёт ли это какой-то профит в скоре? (Или хотя бы в скорости обучения с примерно одинаковым скором). Года два назад пробовал разные варианты, но простые стратегии ничего не давали.

Дмитрий Симаков
А есть рисерч на тему, даёт ли это какой-то профит...

да и не ж должны? теоретически. ну там ёмкость модели какая есть такая есть. сам процесс обучения может ну может ну совсем чуть немного скора добавить

Дмитрий Симаков
А есть рисерч на тему, даёт ли это какой-то профит...

ресерча не было, были программные реализации. да, эта штука работает.

Artyom Gruzdev
ресерча не было, были программные реализации. да, ...

А какие стратегии лучше всего? Какие параметры шэдулить?

Eugene- Автор вопроса
Artyom Gruzdev
можно изменять гиперпараметры в ходе обучения http...

Спасибо за ответ! Забавный подход (я бы даже сказал немного костыльный). Действительно стало теперь интересно математическое обоснование реализованной в бустинговых библиотеках унификации базовых моделей. Пока для меня ответ (не ваш, а разработчика) выглядит как "ну такой дизайн" :)

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Карта сайта