и где арендовать) сервера посоветуете для этого?
по сути для инференса можно юзать и cpu сервера, но тут множество нюансов, что если тебе нужно делать инференс для батчей по 200 img? И я глубоко не исследовал этот вопрос но ты с удивлением обнаружишь что увеличивая число ядер ты пропорционально не увеличиваешь пропускную способнось, моя идея в том что происходит конкуренция за кеш процессора учитывая какого сейчас размера модели.
Обсуждают сегодня