сети, чтобы она могла делать предположения не только о том к какому классу принадлежит объект, но ещё и дифференциировала объекты, например по цвету?
НН очень плохо работают на несколько задач сразу. Обычно разные задачи разделяют на несколько НН. Особенно если задачи мало похожи
Делай multitask learning и построй лосс из двух компонент, на панду не обращай внимания, он тут не прав.
Могу завтра notebook с примером двойной классификации кинуть
Обсуждают сегодня