Обучение закончилось, и, как выяснилось, слой батч нормализации мешал "переобучиться"(он, конечно, молодец, со своей задачей справился, но блин - почему модель не могла справи...