Вопрос про inference с OpenVino (версия 2023.0.1): Есть моделька ( Unet,

Question

Вопрос про inference с OpenVino (версия 2023.0.1): Есть моделька ( Unet,

на pytorch) , конвертирую её в onnx, потом openvino ковертирует её в IR ( mo.convert_model(onnx_path, compress_to_fp16=True) )

Потом, когда запускаю её в inference на CPU ( AMD 5950X 16 ядер), наблюдаю что загрузка CPU ~ 180% , если никакие параметры не трогаю. Если явно прописываю использьвать 4 ядра через
core.set_property("CPU", {inference_num_threads():4}) перед компиляцией, то загрузка падает вообще до ~ 50%

Ну и сам инференс занимает очень долго - вопрос , почему так и как это починить?
Если исхдную модель на pytorch гонять в инференсе, на том-же CPU - то она даёт загрузку CPU ~ 1600% и выполняется гораздо быстрее

#database #programming #russian #software

0

17.08.2023

8 ответов

19 просмотров

Viktor

Так OpenVIno же оптимизирован под процессоры от Intel, не ?

0

17.08.2023

Vladimir F Автор вопроса

Короче, ежели вдруг кто-то ещё на такие грабли наступит: похоже это новая фича OpenVino оптимизатора - он по умолчачнию оптимизирует на асинхронное паралельное исполнение большого количества inference. А у меня синхронное, один сэмпл за раз, но большой. Если ему прописать core.set_property("CPU", { "PERFORMANCE_HINT_NUM_REQUESTS": "1" }) то он загрузка становится примерно 700% , т.е использует половину доступных cores

0

18.08.2023

Григорий Lᵖ space

Vladimir F
Короче, ежели вдруг кто-то ещё на такие грабли нас...

Загрузка 700 проц и примерно 50 проц ядер используется? Что за 700 проц

0

18.08.2023

Vladimir F Автор вопроса

Григорий Lᵖ space
Загрузка 700 проц и примерно 50 проц ядер использу...

AMD 5950X у него 16 cores

0

18.08.2023