Т.е. вам задали изобрести Шазам? Уже поздновато. По сути - возьми любой проект на git’е работающий с классификацией аудио. И перепиши классы, под свой датасет. Звучит не очень...