И проблема ещё скорее не в том, что у меня

Question

Big Data Science :: AI / Big Data / Machine Learning / MLOps

И проблема ещё скорее не в том, что у меня

плохо генерируется. У меня просто никак не меняются loss. Хотя бы как-то улучшаться оно же все таки должно? Может надо другую функцию потерь выбрать?

#database #programming #russian #software

0

09.04.2022

4 ответов

22 просмотра

Благой Димитров Автор вопроса

Vlad Sorokin
Интересная у вас архитектура. Ну во первых-reshap...

> зафиксируйте батч, подавайте один и тот же все время вы имеете в виду размер батча? > во первых-reshape с последующим dense слоем очень плохая операция Видимо Dense слой в этой ситуации надо оставить (иначе мне не получить 216000 = 24 * 50 * 60 * 3 нейронов). Но как тогда мне перейти после Conv2D слоев в Dense слою? > learning_rate я вообще не ставил, щас буду разбираться, что там по дефолту и попробую поменять

0

09.04.2022

Vlad Sorokin

Благой Димитров
> зафиксируйте батч, подавайте один и тот же все в...

Зафиксировать батч значит, что картинки и звук будет всегда одни и те же на каждой итерации тренировки, делается это только для тестирования сети, чтобы узнать, а она вообще обучиться может. к Dense слою необязательно переходить, есть полносверточные сети, которые работают чисто на свертках, как, кстати, на картинке в работе которую вы пытаетесь реализовать.

0

09.04.2022

Благой Димитров Автор вопроса

Vlad Sorokin
Интересная у вас архитектура. Ну во первых-reshap...

Я поигрался с learning_rate. По дефолту там 0.001. Я менял При learning_rate < 1 ситуация не меняется почти. Однако чем больше, тем быстрее оно начинает обучаться. При learning_rate 10 оно начинает обучаться за 1 эпоху. loss: 0.2221 - accuracy: 0.8832

0

10.04.2022

Vlad Sorokin · Accepted Answer

Интересная у вас архитектура. Ну во первых-reshape с последующим dense слоем очень плохая операция, поскольку параметров у dense будет очень много (988тыс*128, если я правильно помню как керас работает) и сеть может вообще не обучиться, надо разбираться как архитектуру подобрать, наугад, у вас наврядли что-то получится. Во-вторых вы не упомянули, меняли ли вы learning rate, если он слишком маленький ,сеть не будет вообще учиться. В-третьих две эпохи - это очень мало, однако если лосс на первых итерациях вообще не меняется то нужно решить проблемы, в предыдущих пунктах. mse как лосс для картинок обычно вообще не годится, сейчас используют perceptual loss, но для бейзлайна подойет и ваш. Еще есть вероятность, что у вас все правильно, но нужно дольше поучиться, для этого зафиксируйте батч, подавайте один и тот же все время, если обучится, значит, все у вас правильно и нужно поставить тренировку на очень долгое время с нормальным батчем. Ну и керас, конечно, хороший фреймворк, но для таких задач лучше использовать что-то более современное, типа торча.

215 похожих чатов

И проблема ещё скорее не в том, что у меня

4 ответов

Похожие вопросы