माइक्रोसॉफ्ट एज वेब ऐप्स को ऑन-डिवाइस LLMs के लिए प्रॉम्प्ट और लेखन सहायता एपीआई के माध्यम से उजागर करता है

ब्राउज़रवेबएआई

मुख्य अपडेट

माइक्रोसॉफ्ट एज ने प्रॉम्प्ट एपीआई और लेखन सहायता एपीआई (संक्षेपक, लेखक, पुनर्लेखक) के डेवलपर पूर्वावलोकन प्रकाशित किए हैं जो वेब पृष्ठों और एक्सटेंशन को क्लाइंट जावास्क्रिप्ट से सीधे ऑन-डिवाइस छोटे भाषा मॉडल (Phi-4-mini) को सक्रिय करने की अनुमति देते हैं। ये एपीआई एज कैनरी/डेव में प्रयोगात्मक वेब प्लेटफ़ॉर्म सुविधाओं के रूप में उपलब्ध हैं; मॉडल को ब्राउज़र द्वारा डाउनलोड और कैश किया जाता है, यह सीमित/संरचित आउटपुट (JSON स्कीमा) का समर्थन करता है, और इसे एक संभावित वेब मानक के रूप में लक्षित किया गया है न कि केवल एक स्वामित्व इंटरफ़ेस के रूप में।

यह क्यों महत्वपूर्ण है

यह इंटरैक्टिव वेब ऐप्स में वास्तविक LLM क्षमताओं को जोड़ने का सबसे व्यावहारिक, तात्कालिक मार्ग है, बिना प्रति-टोकन क्लाउड लागत, उच्च लेटेंसी, या संवेदनशील पाठ को तीसरे पक्ष के सर्वरों पर भेजे। उत्पादन इंजीनियरिंग के लिए यह तीन ठोस तरीकों से महत्वपूर्ण है: (1) प्रदर्शन और लागत - मॉडल अनुमान स्थानीय रूप से होता है, इसलिए संक्षेपण, इनलाइन पुनर्लेखन, या हल्की वर्गीकरण जैसी सुविधाएँ तेज और सस्ती हो सकती हैं; (2) गोपनीयता और अनुपालन - ऑन-डिवाइस प्रोसेसिंग डेटा निकासी को कम कर सकती है और कुछ विनियमित उपयोग मामलों को आसान बना सकती है; (3) इंजीनियरिंग पैटर्न - आपको इन एपीआई को प्रगतिशील संवर्धन के रूप में मानना चाहिए: विशेषताओं का पता लगाना, मॉडल डाउनलोड और भंडारण के लिए UX को सतह पर लाना, और जब हार्डवेयर/OS या भंडारण सीमाएँ स्थानीय मॉडलों को उपलब्ध होने से रोकती हैं, तो मजबूत बैकअप (सर्वर अनुमान या घटित UI) लागू करना।

ऑपरेशनल रूप से, व्यापारिक समझौतों की अपेक्षा करें: पूर्वावलोकन के लिए विशिष्ट OS और GPU/स्टोरेज प्रोफाइल की आवश्यकता होती है और प्रारंभिक मॉडल डाउनलोड गैर-तुच्छ हो सकता है, इसलिए उपयोगकर्ता सहमति, डाउनलोड प्रगति UI, और स्वचालित बैकअप व्यवहार की योजना बनाएं। प्रोग्रामेटिक कार्यों के लिए भ्रांतियों को कम करने के लिए एपीआई के संरचित आउटपुट समर्थन का उपयोग करें, लेकिन जब सटीकता महत्वपूर्ण हो तो सर्वर-साइड पर आउटपुट को मान्य करें। प्रयोगात्मक ध्वज और ऑन-डिवाइस आंतरिक पृष्ठों के साथ एज कैनरी/डेव पर परीक्षण करें, और इन एपीआई को उभरती प्लेटफ़ॉर्म क्षमताओं के रूप में मानें जिन्हें महत्वपूर्ण प्रवाह में उपयोग करने से पहले क्रॉस-ब्राउज़र बैकअप और सावधानीपूर्वक टेलीमेट्री/गोपनीयता डिज़ाइन की आवश्यकता होगी।

स्रोत

आगे पढ़ें

नवीनतम डाइजेस्ट देखेंसभी डाइजेस्ट देखें