Windows ML теперь доступен в общем доступе — унифицированный AI-движок на устройстве для приложений Windows

Ключевое обновление

Microsoft перевела Windows ML в стадию общего доступа: готовый к производству движок вывода на устройстве, включенный в Windows App SDK (начиная с 1.8.1), который работает на устройствах Windows 11 (24H2 или новее). Движок представляет собой уровень аппаратной абстракции, который использует "поставщиков выполнения" от производителей (AMD, Intel, NVIDIA, Qualcomm) для сопоставления моделей ONNX с наилучшим доступным XPU (ЦП/ГП/NPU). Microsoft также предоставляет инструменты для разработчиков (AI Toolkit для VS Code и AI Dev Gallery) для преобразования, квантования и тестирования моделей для Windows ML. (blogs.windows.com)

Почему это важно

Для разработчиков, создающих настольные и нативные приложения Windows, Windows ML превращает AI на устройстве из нишевой оптимизации в поддерживаемый, кросс-аппаратный вариант. На практике это означает меньшую задержку и лучшую конфиденциальность для таких функций, как семантический поиск, обработка изображений/видео и вывод в реальном времени; снижение затрат на облачные вычисления для вывода в масштабе; и более простую поддержку NPU и специализированного кремния без индивидуального кода для каждого производителя. Работы по миграции конкретны: преобразуйте модели в ONNX (и рассмотрите квантование), обновите до Windows App SDK, проверьте на разных поставщиках выполнения и драйверах, и используйте AI Toolkit для профилирования и компиляции AOT-нагрузок. Ожидайте вариации производительности в зависимости от аппаратного обеспечения и драйвера; обширное тестирование на разных устройствах остается необходимым, и предприятиям потребуется проверять драйверы/прошивки для управляемых флотов. В целом, Windows ML делает практическим, а не экспериментальным, внедрение локальных AI-функций в продакшн на Windows. (blogs.windows.com)

Источник

• Источник