215 похожих чатов

Товарищи, а имеет ли смысл инициализировать веса сети (или любого

другого алгоритма) путём случайного перебора? Ну, то есть мы абсолютно случайно составляем 1000 комбинаций весов, смотрим, на каком наборе весов метрика ближе всего к минимуму и ставим начальные весе равные этому набору. На первый взгляд, это даёт лучшее начальное приближение и градиентный спуск будет быстрее сходиться и, может даже, в лучшую точку, чем если бы мы каким-то шумом инициализировали. Что думаете об этом?

3 ответов

3 просмотра

стартовать со всех 1000 комбинаций будет лучше

А что в книге не почитаешь? Вот в этой, например - http://gen.lib.rus.ec/book/index.php?md5=900D739E4B0305A0422F4DC23E0CC76C Там в начале хорошо про НС написано.

В случае с глубокими сетями выглядит бесполезной затеей

Похожие вопросы

Обсуждают сегодня

читать файл максимально быстро? странный вопрос))
zamtmn
52
всем привет! углубившись в плюсы и начав изучать реверсинг понял, что без асм'а никуда со своими высокоабстрактными представлениями начал изучать механизмы асма, и не совсем п...
9
буквально один оставшийся вопрос при выполнении строчки mov eax, 5 операнд "5" будет присутствовать где-либо в памяти (любой), кроме как в памяти блока .code? подвопрос: как...
12
Всем ку. Подскажите, если задекларировал массив так: int arr[10] = {1, 2, 3, 4}, то в arr[4] будет мусор или нуль?
Sasha K
14
я не понимаю mov [r11+8],rcx и прочие. мы записываем значение из rcx, куда?
Bor
15
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
у меня такой вопрос про память в x86 возник, может кто пояснить?.. у процессора есть (как минимум) 3 типа адресов (названия "п1", "п2", "п3" --- мои, чтобы проще было дальше)...
Toideng
5
А какие расширения активно используются в промышленности? Именно идейные, по типу гадт, а не всякие оверлоадедстрингс
Степан
11
у процессора есть (как минимум) 3 типа адресов (названия "п1", "п2", "п3" --- мои, чтобы проще было дальше): - "п1" --- виртуальный адрес, то есть тот, который ресолвится в "п...
Toideng
3
Guys Who’s kurdish on this group?
Hiwa Amiri
11
Карта сайта