Microsoft Edge открывает локальные LLM для веб-приложений через API Подсказок и Помощи в Написании

Основное обновление

Microsoft Edge опубликовал предварительные версии API Подсказок и API Помощи в Написании (Сумматор, Автор, Переписчик), которые позволяют веб-страницам и расширениям вызывать локальную небольшую языковую модель (Phi‑4‑mini) непосредственно из клиентского JavaScript. API доступны в Edge Canary/Dev как экспериментальные функции веб-платформы; модель загружается и кэшируется браузером, поддерживает ограниченные/структурированные выводы (JSON-схемы) и предназначена как потенциальный веб-стандарт, а не только как проприетарный интерфейс.

Почему это важно

Это самый практичный и краткосрочный путь для добавления реальных возможностей LLM в интерактивные веб-приложения без затрат на облачные услуги за токен, высокой задержки или отправки конфиденциального текста на сторонние серверы. Для производственной инженерии это имеет значение в трех конкретных аспектах: (1) производительность и стоимость — вывод модели происходит локально, поэтому такие функции, как суммирование, встроенное переписывание или легкая классификация, могут быть быстрыми и дешевыми; (2) конфиденциальность и соблюдение норм — локальная обработка может снизить выход данных и упростить определенные регулируемые случаи использования; (3) инженерные паттерны — вы должны рассматривать эти API как прогрессивное улучшение: определять наличие функций, предоставлять UX для загрузки и хранения модели и реализовывать надежные резервные варианты (серверный вывод или ухудшенный интерфейс), когда ограничения аппаратного обеспечения/ОС или хранилища не позволяют локальным моделям быть доступными.

Операционно ожидайте компромиссы: предварительная версия требует определенных профилей ОС и GPU/хранилища, а первоначальная загрузка модели может быть не тривиальной, поэтому планируйте получение согласия пользователя, интерфейс прогресса загрузки и автоматическое поведение резервного варианта. Используйте поддержку структурированного вывода API, чтобы уменьшить галлюцинации для программных задач, но все равно проверяйте выводы на стороне сервера, когда важна корректность. Тестируйте в Edge Canary/Dev с экспериментальными флагами и страницами внутренних данных на устройстве, и рассматривайте эти API как развивающиеся возможности платформы, которые потребуют резервных вариантов для разных браузеров и тщательного проектирования телеметрии/конфиденциальности перед использованием их в критических потоках.

Источник

• Источник