Microsoft Edge 通过提示和写作辅助 API 向网页应用程序暴露设备上的 LLM

关键更新

Microsoft Edge 发布了提示 API 和写作辅助 API（摘要器、写作助手、重写器）的开发者预览，允许网页和扩展直接从客户端 JavaScript 调用设备上的小型语言模型（Phi-4-mini）。这些 API 作为实验性网页平台功能在 Edge Canary/Dev 中可用；模型由浏览器下载并缓存，支持受限/结构化输出（JSON 模式），并旨在作为潜在的网页标准，而非仅限于专有接口。

重要性

这是为交互式网页应用添加真实 LLM 功能的最实用、短期的途径，无需每个令牌的云成本、高延迟或将敏感文本发送到第三方服务器。对于生产工程而言，这在三个具体方面具有重要意义：（1）性能和成本——模型推理在本地进行，因此摘要、内联重写或轻量级分类等功能可以快速且便宜；（2）隐私和合规——设备上的处理可以减少数据外流，并使某些受监管的用例更容易；（3）工程模式——您必须将这些 API 视为渐进增强：特征检测、为模型下载和存储提供用户体验，并在硬件/操作系统或存储限制阻止本地模型可用时实现强大的后备方案（服务器推理或降级 UI）。

在操作上，预计会有权衡：预览需要特定的操作系统和 GPU/存储配置，初始模型下载可能并不简单，因此要计划用户同意、下载进度 UI 和自动后备行为。利用 API 的结构化输出支持来减少程序性任务的幻觉，但在正确性重要时仍需在服务器端验证输出。在 Edge Canary/Dev 上使用实验性标志和设备内部页面进行测试，并将这些 API 视为新兴的平台能力，在关键流程中使用之前需要跨浏览器的后备方案和仔细的遥测/隐私设计。

来源

• 来源