215 похожих чатов

Товарищи, а имеет ли смысл инициализировать веса сети (или любого

другого алгоритма) путём случайного перебора? Ну, то есть мы абсолютно случайно составляем 1000 комбинаций весов, смотрим, на каком наборе весов метрика ближе всего к минимуму и ставим начальные весе равные этому набору. На первый взгляд, это даёт лучшее начальное приближение и градиентный спуск будет быстрее сходиться и, может даже, в лучшую точку, чем если бы мы каким-то шумом инициализировали. Что думаете об этом?

3 ответов

26 просмотров

стартовать со всех 1000 комбинаций будет лучше

А что в книге не почитаешь? Вот в этой, например - http://gen.lib.rus.ec/book/index.php?md5=900D739E4B0305A0422F4DC23E0CC76C Там в начале хорошо про НС написано.

В случае с глубокими сетями выглядит бесполезной затеей

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта