так как я плохо знаком с мобильными архитектурами:
В Айфонах, насколько я понимаю, присутствует довольно производительный NPU, отвечающий - в числе прочих, за распознавание Face ID. Если я правильно понимаю, NPU имеет схожую архитектуру с тензорными блоками в GPU от NVIDIA, и заточен решать плюс минус те же задачи. Нейронные сети, машинное обучение, и т.д. Верно?
При этом в AppStore существует сотни, если тысячи приложений, позволяющих реконструировать изображения низкого разрешения - в изображения более высокого, посредством AI. Что-то вроде возможности из Topaz Gigapixel AI для десктопов. Но при этом все эти приложения выполняют апскейл/реконструкцию на стороне своих серверов, если я ничего не путаю, и бесполезны без интернета. Если так, то... Почему? Айфон принципиально не способен сделать это сам? У мобильных разработчиков же, по идее, есть доступ к этому NPU?
Я бы предположил, что мобильный NPU для такого слабоват, куда ему до настольных, но тот же настольный у меня, в не самой производительной карте RTX серии, в ус не дуя реконструирует изображение из 720p в 2160p 120 раз в секунду. Он же не в 1000 раз мощнее...
1. собирать данные можно только через server side 2. эппловские npu не имеют нормального апи, например, силой заставить работать модель на NPU метода нет - лишь задать желание. Если системе хочется - она просто скидывает модель обратно на cpu. также npu не поддерживает кучу операций, и грубо говоря, нестандартные слои на npu запустить нельзя
Спасибо за исчерпывающий ответ!
Обсуждают сегодня