Еще вопрос: когда работал с детекторами, там можно было засунуть

Question

Еще вопрос: когда работал с детекторами, там можно было засунуть

в память видюхи штук 11-20 картинок (размер батча, в зависимости от видюхи)
Видимо, видео в 18Мб с 300 кадрами загнать туда не получится? А почему вообще батчи получаются такими мелкими? Вроде и веса нейронки тоже были максимум 0.5Гб

#database #programming #russian #software

0

04.01.2020

1 ответов

7 просмотров

Evgenii Makarov · Accepted Answer

romul 12:26 PM Многие сталкивались с тем, что нужно быстро инферить на видео-трансляции gpu сетку сегментации или детекции. Возникает вопрос: как закидывать кадры в модель. Мы в Constanta для этого написали TensorStream. https://github.com/Fonbet/argus-tensor-stream Суть либы в том, что поток декодируется на gpu и кадры сразу же идут в модель. На входе видеопоток, который декодируется nvenc’ом. На выходе по запросу последний доступный кадр в виде PyTorch тензора. Таким образом можно написать пайплайн, который полностью работает на gpu. Ключевые особенности: • Python API возвращает cuda PyTorch Tensor :pytorch: • C++ API возвращает CUDA память • Поддержка ресайза и преобразования цветовых пространств (rgb, bgr, y800) • Определение проблем с потоком (нарушение порядка или потери кадров) • Поддержка Linux и Windows • Установка через pip todo: • Расширение препроцессинга кадров: нормализация, порядок каналов, больше цветовых пространств. (можно и сейчас делать на gpu с помощью torch, но если переписать на куда кернела, то отпадет необходимость создавать несколько промежуточных тензоров) • Поддержка multi-gpu, выбор “cuda:N” девайса выходного тензора • Настройка fps чтения (в нативном fps или как можно быстрее) Пример как либа работает с моделью стайл трансфера: https://github.com/Fonbet/argus-tensor-stream/tree/master/python_examples/fast_neural_style

215 похожих чатов

Еще вопрос: когда работал с детекторами, там можно было засунуть

1 ответов

Похожие вопросы