кого-то опыт с ONNX (RT)?
Opencv для cpu opencv + TensorRT - gpu
Triton, TorchServe?
нет, так как я давно уже не использую мощные GPU сервера, в основном мой уклон под одноплатники. Но опыт с GPU (TensorRT) был богатый.
Обсуждают сегодня