215 похожих чатов

И вот ты такой клевый стоишь в какой-нибудь точке и

вычисляешь градиент функции. Что будет, если ты домножишь его на слишком большой learning_rate? Правильно, несмотря на то, что направление у тебя будет точно в 0 (куда ты и хочешь попасть), реально ты перелетишь этот 0 - возможно очень сильно.

1 ответов

12 просмотров

А если learning rate будет слишком маленький, то сеть застрянет в области субоптимального решения и даже не будет пытаться искать альтернативные решения. Сам такое наблюдал. При большом learning rate сеть ведёт себя как экспериментатор, который пробует много разных вариантов решения (при этом некоторые части старого решения разрушаются), и в конце концов находит лучший. При маленьком learning rate ведёт себя как осторожный консерватор, который застрял в окрестности одного фиксированного решения.

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
Карта сайта