Чет я не очень в этом уверен. разве тот же

Question

SGD разве не берет рандомный элемент из батча и по нему делает изменения? Про усреденения впервые слышу

0

28.01.2018

16 просмотров

Везде так реализованно. По одному примеру брать накладно как уже сказали, поэтому везде mini batch SGD

0

28.01.2018

Evgenii Makarov · Accepted Answer

SGD и мини-батч разные вещи, да. Классический SGD апдейтит веса по одному примеру, за что его, собссно, мало кто и применяет

0

28.01.2018