Windows ML 正式发布 — 一个统一的 Windows 应用设备端 AI 运行时

关键更新

微软已将 Windows ML 移至正式发布：这是一个生产就绪的设备端推理运行时，包含在 Windows 应用 SDK 中（从 1.8.1 开始），可在 Windows 11 设备（24H2 或更新版本）上运行。该运行时是一个硬件抽象层，使用供应商“执行提供程序”（AMD、Intel、NVIDIA、Qualcomm）将 ONNX 模型映射到最佳可用的 XPU（CPU/GPU/NPU）。微软还提供开发者工具（VS Code 的 AI 工具包和 AI 开发画廊），用于转换、量化和测试 Windows ML 的模型。 (blogs.windows.com)

重要性

对于构建桌面和原生 Windows 应用的开发者而言，Windows ML 将设备端 AI 从一个小众优化转变为一个受支持的跨硬件选项。实际上，这意味着像语义搜索、图像/视频处理和实时推理等功能具有更低的延迟和更好的隐私；在大规模推理时降低云成本；以及对 NPU 和专用硅的支持更简单，无需为每个供应商编写定制代码。迁移工作是具体的：将模型转换为 ONNX（并考虑量化），更新到 Windows 应用 SDK，跨供应商执行提供程序和驱动程序堆栈进行验证，并使用 AI 工具包来分析和编译 AOT 工作负载。预计性能会因硬件和驱动程序而异；广泛的跨设备测试仍然至关重要，企业需要验证管理车队的驱动程序/固件堆栈。总体而言，Windows ML 使得在 Windows 上发布生产级本地 AI 功能变得切实可行，而非实验性的。 (blogs.windows.com)

来源

• 来源