А целесообразно просто добавить к обучающему датасету записи без разметки, на которых как раз будут произносится какие-нибудь слова нечисла? Если есть записи, в которых нет чи...