215 похожих чатов

И вот ты такой клевый стоишь в какой-нибудь точке и

вычисляешь градиент функции. Что будет, если ты домножишь его на слишком большой learning_rate? Правильно, несмотря на то, что направление у тебя будет точно в 0 (куда ты и хочешь попасть), реально ты перелетишь этот 0 - возможно очень сильно.

1 ответов

8 просмотров

А если learning rate будет слишком маленький, то сеть застрянет в области субоптимального решения и даже не будет пытаться искать альтернативные решения. Сам такое наблюдал. При большом learning rate сеть ведёт себя как экспериментатор, который пробует много разных вариантов решения (при этом некоторые части старого решения разрушаются), и в конце концов находит лучший. При маленьком learning rate ведёт себя как осторожный консерватор, который застрял в окрестности одного фиксированного решения.

Похожие вопросы

Обсуждают сегодня

Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
10
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
48
Есть предложения, как подобное можно упростить?
Hemul GM
12
type TObj = object procedure Init; virtual; end; TObj1 = object(TObj) procedure Init; override; end; procedure TObj1.Init; begin inherited; end; procedur...
Alexander 👋
29
У меня вопросик назрел. Почему, создав класс без наследования и реализации деструктора Destroy, деструктор не вызывался при free. Потом указал наследование от tobject и overri...
Сергей Бычков
9
Такой вопросец - есть функция function MySuperDuperConcat(const a: array of AnsiString): AnsiString; Как мне в её теле сделать вот так? Result:=Concat(a); А не грустный вариан...
notme
15
just use free version ?? pycharm has a free version
Fan / Ac
9
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
86
Привет, не могли бы подсказать почему "A tree falls in a forest" не отображается в journalctl? openlog ("exampleprog", LOG_CONS | LOG_PID | LOG_NDELAY, LOG_LOCAL1); syslog (LO...
•_• Asmanov 🎓
3
Карта сайта