угу
Ну вот у тебя два бетча b1 и b2 Посчитались два апдейт g1 и g2 Теперь ты апдейтишь w-g1-g2 и w-g2-g1 это же одно и то же?
не, смотри - g1 апдейтит те же веса что g2
Тогда разницы нет
7-3-2 и 7-2-3 это одно и то же вроде
хорошо если так( этот класс задач очень чувствителен к времени формирования признаков, типо чем более новые - тем выше веса, чем более старые - тем ниже, в среднем
Ну внутри бетча у тебя ж складываются градиенты
там у меня просто эти батчи еще имеют лаги относительно батча времени(у меня и батч сайз и батч тайм присутствует)
Обсуждают сегодня