у tensorflow?
для начала инференс с torch.no_grad() уже быстрее чем при обучении потом, AMP или ручная конвертация model.float16() может ускорить вычисления раза в два И три, есть несколько способов ускорить ResNet меняя его структуру, что зачасную еще и увеличивает точность.
Выше уже с использованием torch.no_grad() цифры мои
в fp16 на вашей карте впрочем использовать не стоит
Обсуждают сегодня