Всем добрый день! Замеряем время обработки часового аудиофайла с речью

Question

Всем добрый день! Замеряем время обработки часового аудиофайла с речью

сервером websocket-gpu-batch воска на русской 0.42 модели на двух разных конфигах железа и получаем странные результаты:
1. AMD EPYC 7742 + NVIDIA A100-SXM4-40GB: 04:43 mins
2. Intel Core i9 13900k + NVIDIA RTX 4060 Ti 8G: 03.57 mins
Почему-то консьюмерская 4060 ti обгоняет обычно сильно более мощную в задачах ИИ A100. Не подскажет ли кто, из за чего может возникать такое странное расхождение? Или может быть у воска или у калди необходимо включить какие-то доп оптимизации для ускорения на серверных картах? В обоих случаях сервер работает в докер контейнере, единственное отличие в том что в случае 4060 TI использовали Windows и WSL2 для прокидывания карты, а в случае A100 обычный линукс и nvidia-docker

#it #russian #speech-recognition

0

26.07.2023

6 ответов

11 просмотров

Eugene Автор вопроса

Sergey Bratchikov

а вы уверены что 4060ti настолько уж слабее a100? ...

Хм, не смотрел на этот показатель, а воск в f32 считается?

0

26.07.2023

Nikolay V. Shmyrev

да. Вообще gpu для параллельной обработки файлов, на одном файле бесполезно смотреть

0

26.07.2023

Eugene Автор вопроса

Nikolay V. Shmyrev
да. Вообще gpu для параллельной обработки файлов, ...

Согласен, просто рассматриваем в том числе случаи когда цельные аудиозаписи такой длины тоже нужно обрабатывать, но в таком случае наверное разумнее делить их через какой-нибудь VAD и отправлять несколько фрагментов. Спасибо всем за помощь!

0

26.07.2023

Nikolay V. Shmyrev

Eugene
Согласен, просто рассматриваем в том числе случаи ...

просто надо 100 таких файлов отправлять за раз, а не по одному

0

26.07.2023

Mikhail Utrobin

Sergey Bratchikov

а вы уверены что 4060ti настолько уж слабее a100? ...

Что за сайт, показывает такое сравнение?

0