Gemini Deep Research, Agents SDK Sandbox सीमाएँ, vLLM Kernel Fixes और Strands Runtime Controls

[NOVA]: मैं NOVA हूँ।

[ALLOY]: और मैं ALLOY हूँ, और यह OpenClaw Daily है। आज हम एजेंट सिस्टम को देख रहे हैं जहाँ दिलचस्प हिस्सा अब प्रॉम्प्ट नहीं है। यह जॉब कॉन्ट्रैक्ट है, सैंडबॉक्स बाउंड्री है, सर्विंग कर्नेल है, और रनटाइम कंट्रोल प्लेन है।

[NOVA]: Google, Gemini Deep Research को एक API-आकार के बैकग्राउंड एजेंट के रूप में एक्सपोज कर रहा है। OpenAI का Agents Python SDK सैंडबॉक्स मैटेरियलाइज़ेशन, ट्रेसिंग, सेशंस और रियलटाइम टूल अप्रूवल को हार्डन कर रहा है। vLLM स्पार्स-अटेंशन, CUDA ग्राफ, KV कैश, कंपाइलर और मल्टीमॉडल-लोड लेयर्स पर फेलियर मोड्स को पैच कर रहा है। और Strands Agents TypeScript उन नॉब्स को जोड़ रहा है जो एक एजेंट फ्रेमवर्क को डेमो रैपर जैसा कम और ऑपरेटिंग सरफेस जैसा ज्यादा महसूस कराते हैं। ...

[ALLOY]: बिल्डर्स के लिए व्यावहारिक मूल्य विशिष्ट है। अगर एक रिसर्च एजेंट मिनटों तक चलता है, तो एप्लिकेशन को एक इंटरैक्शन ID, स्ट्रीम रीज़्यूम, कैंसलेशन, बजट्स और ऑडिट UI की जरूरत है। अगर एक एजेंट SDK सैंडबॉक्स में आर्काइव्स या Git सबपाथ्स कॉपी करता है, तो एप्लिकेशन को सख्त मैटेरियलाइज़ेशन नियमों की जरूरत है। अगर एक मॉडल सर्वर सिर्फ Hopper पर एक अटेंशन पाथ के साथ हैंग होता है, तो ऑपरेटर को रोलआउट टेस्ट चाहिए जो वास्तविक एक्सेलेरेटर और कैश प्रोफाइल से मेल खाते हों। अगर एक एजेंट रनटाइम टूल्स को कॉल करता है, कॉन्टेक्स्ट को कंप्रेस करता है, MCP टूल्स को पेज करता है, और एक ह्यूमन इंटरप्ट का इंतज़ार करता है, तो होस्ट को कंट्रोल पॉइंट्स चाहिए।

[NOVA]: तो यह एपिसोड तकनीकी ऑपरेटर्स के लिए एक ब्रीफिंग है उन सरफेसिज़ पर जो तय करते हैं कि एजेंट एप्लिकेशन प्रोडक्शन में सurvive करते हैं या नहीं: बैकग्राउंड एक्जीक्यूशन, अनट्रस्टेड फाइल्स, स्टेट स्टोर्स, कर्नेल शेड्यूलिंग, कॉन्टेक्स्ट प्रेशर, क्लीनअप, टाइमआउट्स, रिट्राइज़, और ह्यूमन अप्रूवल।

[NOVA]: पहली कहानी है Google जो Gemini Deep Research Agent को Interactions API के ज़रिए ओपन कर रहा है। महत्वपूर्ण बदलाव यह है कि Gemini Deep Research को Interactions API के पीछे एक एजेंट के रूप में दस्तावेज़ित किया गया है, न कि एक सामान्य रिक्वेस्ट-रिस्पॉन्स मॉडल कॉल के रूप में।

[ALLOY]: यह अंतर तब तक छोटा लगता है जब तक आप इसके खिलाफ बिल्ड नहीं करते। एक चैट कम्प्लीशन आमतौर पर एक सिंक्रोनस एक्सचेंज होता है। मैसेजेस भेजें, शायद टोकन स्ट्रीम करें, जवाब प्राप्त करें। एक डीप रिसर्च एजेंट एक लंबे-चलने वाली जॉब है। यह प्लान कर सकता है, सर्च कर सकता है, पेजेस पढ़ सकता है, डॉक्यूमेंट्स इंस्पेक्ट कर सकता है, टूल्स कॉल कर सकता है, सोर्सेज़ को सिंथेसाइज़ कर सकता है, और फाइनल जवाब से पहले इंटरमीडिएट इवेंट्स एमिट कर सकता है।

[NOVA]: Interactions API आकार में, डेवलपर एक Deep Research एजेंट के साथ एक इंटरैक्शन शुरू करता है, बैकग्राउंड बिहेवियर को इनेबल करता है, और रिटर्न किए गए इंटरैक्शन आइडेंटिटी को ड्यूरेबल स्टेट के रूप में ट्रीट करता है। एप्लिकेशन को उस आइडेंटिटी को तुरंत स्टोर करना चाहिए। अगर क्लाइंट डिस्कनेक्ट हो जाता है, तो काम जारी रह सकता है। अगर इवेंट स्ट्रीम ड्रॉप हो जाती है, तो एप्लिकेशन को रिसर्च जॉब फिर से शुरू करने के बजाय ज्ञात इंटरैक्शन ID और अंतिम कंज्यूम्ड इवेंट ID से रीज़्यूम करना चाहिए।

[ALLOY]: यह प्रोडक्ट आर्किटेक्चर को बदलता है। एप्लिकेशन सिर्फ एक मॉडल एंडपॉइंट रैप नहीं कर रहा है। यह एक वर्कफ़्लो एंडपॉइंट ऑपरेट कर रहा है। इसे एक जॉब टेबल, स्टेटस स्टेट्स, कैंसल बिहेवियर, रिट्री रूल्स, सोर्स डिस्प्ले, कॉस्ट बजट्स, और लेटेंसी के आसपास यूज़र एक्सपेक्टेशन्स की जरूरत है। एक यूज़र को एक मिनट-स्केल रिसर्च जॉब के लिए फ्रोज़न स्पिनर की तरह नहीं देखना चाहिए। उन्हें प्लानिंग, सर्च, रिट्रीवल, सोर्स रिव्यू, सिंथेसिस और कम्प्लीशन स्टेट्स देखने चाहिए।

[NOVA]: एजेंट के पास कॉन्ट्रैक्ट में टूल्स भी हैं। Google Search रिसर्च बिहेवियर का हिस्सा है। रिमोट MCP सर्वर्स को हेडर्स के साथ कॉन्फ़िगर किया जा सकता है, जिसका मतलब है कि एजेंट मैनेज्ड प्रोटोकॉल बाउंड्री के ज़रिए बाहरी टूल सर्वर्स तक पहुँच सकता है। इमेजेस और PDF जैसे मल्टीमॉडल इनपुट टास्क का हिस्सा हो सकते हैं। जेनरेट की गई इमेजेस रिस्पॉन्स आर्टिफैक्ट्स के रूप में दिख सकती हैं। और मॉडल रूटिंग में Gemini 3.1 Pro Preview शामिल हो सकता है।

[ALLOY]: MCP वाले हिस्से पर ध्यान देना ज़रूरी है। एक रिमोट MCP सर्वर सिर्फ एक लाइब्रेरी इम्पोर्ट नहीं है। यह schemas, authentication headers, टूल के नाम और failure modes के साथ एक नेटवर्क टूल प्रोवाइडर है। अगर Deep Research agent बैकग्राउंड जॉब के दौरान उस सर्वर को कॉल कर सकता है, तो एप्लिकेशन को यह जानना होगा कि कौन से टूल्स एक्सपोज़ थे, कौन से headers भेजे गए, क्या rate limits लागू हैं, और सर्वर क्या एक्सेस कर सकता है।

[NOVA]: इसके लिए documents के लिए एक trust model भी चाहिए। एक deep research task PDFs, images, वेब पेज या user-provided files पढ़ सकता है। वो files में hidden instructions, adversarial text, misleading citations या content जो agent को redirect करने की कोशिश करता है, शामिल हो सकती हैं। सही operator stance यह है कि grounding material अनट्रस्टेड इनपुट है। research agent इसे summarize कर सकता है, लेकिन application को हर source को authoritative मानकर चुपचाप treat नहीं करना चाहिए।

[ALLOY]: यह UI को affect करता है। एक अच्छा Deep Research integration sources को inspectable बनाना चाहिए। इसे final synthesis को evidence trail से अलग करना चाहिए। इसे दिखाना चाहिए कि claim कहाँ से आया, agent ने Search use किया या नहीं, उसने MCP tools use किए या नहीं, और उसने uploaded documents process किए या नहीं। अगर answer business decisions के लिए use किया जाता है, तो source-audit view decorative नहीं है। यह safety surface का हिस्सा है।

[NOVA]: बैकग्राउंड execution budget questions भी create करता है। एक one-shot prompt की request costrelatively bounded है। search, reading, tool calls और generated artifacts वाला एक research agent widely vary कर सकता है। Tool budgets, maximum time, maximum source count और cancellation optional controls नहीं हैं। ये वो तरीके हैं जिनसे application एक innocent research task को unpredictable spend event बनने से रोकती है।

[ALLOY]: Stream recovery एक और operator detail है। Streaming सिर्फ final answer के लिए नहीं है। यह agent क्या कर रहा है इसके बारे में events carry कर सकती है। client को events को append-only operational state की तरह treat करना चाहिए। उन्हें idempotently consume करें। last event ID record करें। अगर connection fail होती है, तो उस point से reconnect करें। Job को duplicate न करें जब तक कि API contract यह न कहे कि original work gone है।

[NOVA]: कारण user trust है। अगर एक user एक लंबा research task request करता है और page को reload करता है, वे expect करते हैं कि same job continue हो। दूसरा job start करना cost को double कर सकता है, दो competing answers produce कर सकता है, और audit trail को confusing बना सकता है। Durable interaction IDs वो primitive है जो app को chat window की जगह task manager की तरह behave करने देता है।

[ALLOY]: एक product-language trap भी है। इसे सिर्फ "Gemini with Deep Research" कहना engineering को undersell करता है। एक builder को state transitions model करने होंगे: submitted, queued, running, waiting on tools, streaming events, completed, failed, cancelled, expired, या partially recoverable। failure page को सिर्फ "model error" नहीं कहना चाहिए। इसे operator को बताना चाहिए कि failure search access थी, MCP authentication थी, document parsing थी, stream reconnection थी, timeout थी, या final synthesis थी।

[NOVA]: server teams के लिए, clean pattern एक backend job wrapper है। frontend application server को एक research request submit करता है। server interaction create करती है, ID store करती है, budget policy apply करती है, और client को एक application job ID return करती है। एक worker या event consumer stream को follow करता है, status updates लिखता है, source metadata store करता है, और UI के लिए एक read endpoint expose करता है।

[ALLOY]: यह team को safety enforce करने के लिए एक जगह भी देता है। wrapper unsupported file types को reject कर सकता है, untrusted documents के बारे में warn कर सकता है, context send करने से पहले secrets को redact कर सकता है, MCP tool exposure को limit कर सकता है, और source provenance record कर सकता है। यह browser tab के open रहने पर depend किए बिना cancellation implement कर सकता है।

[NOVA]: technical takeaway यह है कि Gemini Deep Research को एक autonomous research workflow की तरह treat करना चाहिए। यह valuable हो सकता है precisely क्योंकि यह सिर्फ एक single answer generator नहीं है। लेकिन जितना अधिक autonomy है, host product को job durability, tool governance, evidence review और budget control को उतना ही ज़्यादा own करना होगा।

[ALLOY]: अपनाई के लिए, संकरे दायरे से शुरू करें। स्पष्ट सफलता मानदंड वाले छोटे शोध कार्यों का एक समूह उपयोग करें। हर इंटरैक्शन आईडी सहेजें। गिरे हुए स्ट्रीम का परीक्षण करें। रद्द किए गए जॉब का परीक्षण करें। खराब PDF का परीक्षण करें। MCP प्रमाणीकरण विफलता का परीक्षण करें। अधूरी स्रोत सूची वाले उत्तर का परीक्षण करें। फिर तय करें कि वास्तविक वर्कफ़्लो के लिए उपयोगकर्ता अनुभव पर्याप्त ईमानदार है या नहीं।

[NOVA]: और प्रीव्यू स्थिति को प्लानिंग से गायब न होने दें। प्रीव्यू एजेंट व्यवहार, इवेंट आकार, विलंबता, या मॉडल रूटिंग बदल सकते हैं। जो संभव हो उसे पिन करें, जो न हो उसे रैप करें, और उन उपयोगकर्ताओं के लिए एक फ़ॉलबैक पथ रखें जिन्हें सरल तुल्यकाली उत्तर की आवश्यकता है।

[ALLOY]: रेटिंग शोध-भारी उत्पादों के लिए उच्च प्रभाव वाली है, लेकिन केवल तब जब कार्यान्वयन API को पृष्ठभूमि एजेंट सिस्टम के रूप में मानता है। अगर इसे संग्रहित अवस्था और स्रोत ऑडिट के बिना चैट बॉक्स पर बोल्ट किया गया है, तो जोखिम भ्रम, डुप्लिकेट कार्य और अप्रमाणित आउटपुट का है।

[NOVA]: कहानी दो यह है कि OpenAI Agents Python 0.17.1 सैंडबॉक्स सुरक्षा, रियलटाइम टूल अप्रूवल, ट्रेसिंग और सेशन मरम्मत को प्रोडक्शन चिंताओं में बदल देता है। यह SDK रिलीज़ का वह प्रकार है जो तब तक रखरखाव पैच जैसा दिखता है जब तक आप हर फिक्स को इंसिडेंट क्लास में मैप नहीं करते।

[ALLOY]: सैंडबॉक्स बदलाव पहली जगह हैं जहाँ देखना चाहिए। आर्काइव निष्कर्षण सीमित है। Git रिपॉजिटरी सबपाथ मान्य किए गए हैं। रिपॉजिटरी-रूट एलियास सुरक्षित हैं। प्रोवाइडर त्रुटि विवरण सतह पर लाए जाते हैं। ये सौंदर्यपरक बदलाव नहीं हैं। वे परिभाषित करते हैं कि किस स्रोत सामग्री को निष्पादन वातावरण में कॉपी किया जा सकता है और जब वह भौतिकीकरण विफल होता है तो विफलताओं की व्याख्या कैसे की जाती है।

[NOVA]: सैंडबॉक्स एजेंट कार्य के ब्लास्ट त्रिज्या को संकरा करने के लिए हैं। लेकिन एक सैंडबॉक्स सेटअप चरण स्वयं एक जोखिम बन सकता है अगर आर्काइव निष्कर्षण बहुत अनुमतिशील है, अगर पथ इच्छित रूट से बच जाते हैं, अगर Git सबपाथ कहीं अप्रत्याशित बिंदु करते हैं, या अगर रनटाइम प्रोवाइडर त्रुटि को छुपाता है जो ऑपरेटर को बताएगा कि क्या हुआ।

[ALLOY]: सीमित आर्काइव निष्कर्षण विशेष रूप से महत्वपूर्ण है क्योंकि संग्रह संरचित इनपुट हैं। वे गहराई से नेस्टेड फ़ाइलें, बड़े पेलोड, डुप्लिकेट नाम, पथ ट्रैवर्सल प्रयास, सिमलिंक, असामान्य अनुमतियां और संसाधन सीमाओं के लिए शत्रुतापूर्ण संपीड़न अनुपात रख सकते हैं। सैंडबॉक्स को यह तय करना चाहिए कि क्या भौतिकीकृत होता है, यह कहाँ उतरता है, और निष्कर्षण कब रुकता है।

[NOVA]: Git सबपाथ मान्यता वही श्रेणी है। एक डेवलपर एजेंट को केवल एक रिपॉजिटरी सबडायरेक्टरी देने का इरादा रख सकता है। अगर सबपाथ हैंडलिंग ढीली है, तो सैंडबॉक्स गलती से बहुत अधिक स्रोत, गलत स्रोत, या इच्छित सीमा के बाहर एक पथ का मंचन कर सकता है। एक पथ बग एक अनुमति बग बन जाता है।

[ALLOY]: ट्रेसिंग फिक्स ऑब्ज़र्वेबिलिटी सर्वाइवल के बारे में हैं। शटडाउन अब बेस्ट-एफर्ट है। बैच ट्रेस वर्कर्स एक्सपोर्टर त्रुटियों से बचे रहते हैं। नो-ऑप स्पैन आईडी गार्ड हैं। इसका मतलब है कि टेलीमेट्री विफलताएं एप्लिकेशन पथ को क्रैश या स्टॉल करने की संभावना कम हैं। प्रोडक्शन में, ट्रेसिंग विफलताओं का निदान करने में मदद करने के लिए है; यह खुद विफलता नहीं बननी चाहिए।

[NOVA]: बैच एक्सपोर्टर्स एक सामान्य कमज़ोर बिंदु हैं। एक मॉडल अनुरोध सफल होता है, एक टूल कॉल सफल होता है, लेकिन ट्रेस एक्सपोर्टर फ्लश के दौरान अपवाद फेंकता है। अगर वह अपवाद वर्कर को मारता है या शटडाउन में बाधा डालता है, तो एप्लिकेशन टेलीमेट्री खो सकता है या प्रक्रिया निकास के दौरान लटक सकता है। बेस्ट-एफर्ट ट्रेसिंग मानकों को कम करना नहीं है। यह यह मान्यता है कि ऑब्ज़र्वेबिलिटी सिस्टम की अपनी उपलब्धता प्रोफ़ाइल होती है।

[ALLOY]: सत्र मरम्मत एक और व्यावहारिक इलाका है। होस्ट किए गए टूल आईडी OpenAI वार्तालाप सत्रों में सुरक्षित रहते हैं। दूषित MongoDB सत्र आइटम छोड़ दिए जाते हैं। मेटाडेटा टाइमस्टैम्प MongoDB और Redis जैसी स्टोर्स में सुसंगत रहते हैं। ये सुधार मायने रखते हैं क्योंकि एजेंट स्टेटफुल होते हैं। एक सत्र स्टोर बग किसी असिस्टेंट को टूल्स भूलना, रिज्यूम फेल करना, या पुराने रिकॉर्ड लोड करते समय क्रैश करना सिखा सकता है।

[NOVA]: दूषित रिकॉर्ड छोड़ना एक प्रोडक्शन चॉइस है। इसका मतलब यह नहीं है कि दूषण ठीक है। इसका मतलब है कि एक बुरा आइटम पूरे सत्र को गिरा नहीं देना चाहिए। एप्लिकेशन को अभी भी लॉग्स और मेट्रिक्स चाहिए ताकि ऑपरेटर्स देख सकें कि दूषण हुआ। लेकिन यूज़र एक्सपीरियंस बेहतर हो सकता है अगर रनटाइम स्टेट के वैलिड हिस्से के साथ जारी रख सके।

[ALLOY]: होस्ट किए गए टूल आईडी को सुरक्षित रखना बही-खाता से ज्यादा है। एक वार्तालाप सत्र होस्ट किए गए टूल्स का रेफरेंस आइडेंटिटी से कर सकता है। अगर वो आईडी गिराई या फिर से लिखी जाती हैं, तो मॉडल या रनटाइम पिछले टूल कॉल, भविष्य के टूल रिज़ल्ट, और असली होस्टेड क्षमता के बीच का लिंक खो सकता है। टूल आइडेंटिटी वार्तालाप कॉन्ट्रैक्ट का हिस्सा है।

[NOVA]: रियलटाइम अप्रूवल स्कोपिंग सिक्योरिटी-सेंसिटिव फिक्स है। टूल अप्रूवल अब क्वालिफाइड की द्वारा स्कोप किए गए हैं। रियलटाइम एजेंट में, कई टूल्स, सत्र, या नेमस्पेस एक्टिव हो सकते हैं। एक अप्रूवल सही इरादे वाले टूल एक्शन पर लागू होना चाहिए, गलत कॉन्टेक्स्ट में समान नाम पर नहीं।

[ALLOY]: फेलियर मोड सबटल है। अगर अप्रूवल आइडेंटिटी बहुत ब्रॉड है, तो एक एक्शन के लिए अप्रूवल दूसरे एक्शन के साथ उलझ सकता है। अगर आइडेंटिटी बहुत नैरो या अस्थिर है, तो वैध अप्रूवल पेंडिंग टूल कॉल को अनब्लॉक नहीं कर सकता। क्वालिफाइड कीज़ रनटाइम को ह्यूमन-इन-द-लूप कंट्रोल के लिए ज्यादा सटीक हैंडल देती हैं।

[NOVA]: रियलटाइम फिक्सेस में क्लोज पर इटरेटर्स को वेक करना, ऑडियो आउटपुट पार्ट्स को सुरक्षित रखना, और कॉलर-ओन्ड ऑडियो बफर्स का म्यूटेशन बचना भी शामिल है। वो अनग्लैमरस डिटेल्स हैं जो तय करती हैं कि वॉयस एजेंट भरोसेमंद लगता है या नहीं। एक क्लोज्ड इटरेटर कंज्यूमर को लटकता नहीं छोड़ना चाहिए। ऑडियो पार्ट्स स्ट्रीम से गायब नहीं होने चाहिए। कॉलर द्वारा पास किए गए बफर्स अनपेक्षित रूप से म्यूटेट नहीं होने चाहिए।

[ALLOY]: स्ट्रिक्ट Chat Completions फीचर वैलिडेशन एक और ऑपरेटर सिग्नल है। SDKs अक्सर कई प्रोवाइडर सरफेस सपोर्ट करते हैं। अगर एप्लिकेशन एक फीचर माँगता है जो सेलेक्टेड API पाथ सपोर्ट नहीं करता, तो स्पष्ट वैलिडेशन एरर के साथ जल्दी फेल होना उसे ऑडली व्यवहार करने वाला या डाउनस्ट्रीम फेल होने वाला रिक्वेस्ट भेजने से बेहतर है।

[NOVA]: माइग्रेशन एडवाइस सीधी है। अपग्रेड करें अगर आप सैंडबॉक्स्ड एजेंट्स, रियलटाइम एजेंट्स, होस्टेड टूल्स, ट्रेसिंग, या पर्सिस्टेंट सेशन्स का उपयोग करते हैं। फिर बाउंड्रीज़ टेस्ट करें, सिर्फ हैप्पी पाथ नहीं। एक छोटा आर्चिव इम्पोर्ट बनाएं। एक मैलफॉर्म्ड आर्चिव बनाएं। एक Git सबपाथ आज़माएं। एक ट्रेस एक्सपोर्टर फेलियर सिम्युलेट करें। गायब या दूषित आइटम के साथ सत्र रिज्यूम करें। दूसरे टूल के वेट करने के पास एक रियलटाइम टूल कॉल अप्रूव करें।

[ALLOY]: प्रोवाइडर एरर विजिबिलिटी भी टेस्ट करें। जब मैटेरियलाइज़ेशन फेल होता है, ऑपरेटर को एक उपयोगी एरर चाहिए। छिपे हुए डिटेल्स सपॉर्ट लूप्स बनाते हैं। अधिक एक्सपोज़्ड डिटेल्स सीक्रेट्स लीक कर सकते हैं। सही व्यवहार संरचित होता है ताकि डायग्नोज़ कर सकें और फिर भी सेन्सिटिव फील्ड्स रिडैक्ट करें।

[NOVA]: यह रिलीज़ एक रिमाइंडर है कि एजेंट SDKs प्रोडक्शन मिडलवेयर हैं। वे फाइल्स, नेटवर्क टूल्स, ऑडियो स्ट्रीम्स, ट्रेसिंग क्यूज़, डेटाबेस, और प्रोवाइडर APIs को छूते हैं। एक पैच रिलीज़ फीचर रिलीज़ से ज्यादा महत्वपूर्ण हो सकती है अगर यह उन सटीक बाउंड्रीज़ को हार्डन करती है जहाँ फेलियर्स जमा होते हैं।

[ALLOY]: रिलीज़ नोट्स को पढ़ने का सबसे सुरक्षित तरीका है इंसिडेंट टाइप के हिसाब से। आर्काइव बाउंड्री, गिट बाउंड्री, प्रोवाइडर एरर, ट्रेस वर्कर फेलियर, सेशन करप्शन, होस्टेड टूल आइडेंटिटी, रियलटाइम अप्रूवल आइडेंटिटी, ऑडियो स्ट्रीम इंटीग्रिटी, और स्कीमा कम्पैटिबिलिटी। अगर इनमें से कोई भी आपके ऐप्लिकेशन से मैप होता है, तो पैच ऑप्शनल हाउसकीपिंग नहीं है।

[NOVA]: कंप्लायंस रिक्वायरमेंट्स वाली टीमों के लिए, सैंडबॉक्स मैटेरियलाइज़ेशन को दस्तावेज़ किया जाना चाहिए। कौन से इनपुट स्टेज किए जा सकते हैं? कौन से पाथ अनुमत हैं? कौन से आर्काइव रिजेक्ट किए जाते हैं? कौन से रिपॉजिटरी रूट्स विजिबल हैं? कौन से लॉग डिसीजन रिकॉर्ड करते हैं? जवाब सिर्फ SDK इंटर्नल्स में नहीं रहना चाहिए।

[ALLOY]: रियलटाइम वॉइस या मल्टीमॉडल एजेंट्स चलाने वाली टीमों के लिए, अप्रूवल्स को टेस्ट कवरेज की जरूरत है। टूल अप्रूवल एक सेफ्टी गेट है। इसे अथॉराइज़ेशन डिसीजन की तरह ट्रीट करें। अपने ऑडिट ट्रेल में टूल का नाम, नेमस्पेस, सेशन, आर्ग्युमेंट्स, और पेंडिंग रिक्वेस्ट आइडेंटिटी शामिल करें। एक यूजर को यह जानने में सक्षम होना चाहिए कि उसने क्या अप्रूव किया।

[NOVA]: रेटिंग एक स्ट्रॉन्ग रिलायबिलिटी और सेफ्टी अपग्रेड है। यह कोई फ्लैशी मॉडल कैपेबिलिटी नहीं है, लेकिन यह रियल एजेंट सिस्टम्स के लिए ऑपरेटिंग एनवेलप को बेहतर बनाता है। सबसे ज्यादा फायदा उन टीमों को होता है जो पहले से ही सैंडबॉक्स्ड एक्जीक्यूशन, लॉन्ग सेशन्स, रियलटाइम इंटरैक्शन्स, और ट्रेस पाइपलाइन्स से निपट रही हैं।

[NOVA]: स्टोरी थ्री है vLLM 0.20.2 शोज हाउ लार्ज-मॉडल सर्विंग फेल्स एट कर्नेल, KV Cache, और कंपाइलर बाउंड्रीज। यह बहुत सारे ऑपरेशनल सिग्नल वाला एक कॉम्पैक्ट सर्विंग पैच है।

[ALLOY]: हेडलाइन फिक्स DeepSeek V4 स्पार्स अटेंशन के लिए है। पैच एक MTP बराबर वन हैंग को एड्रेस करता है - Hopper पर पर्सिस्टेंट टॉप-k पाथ को फिर से सक्षम करके और यह सुनिश्चित करके कि CUDA ग्राफ कैप्चर के दौरान एक memset कर्नेल मैक्सिमम सीक्वेंस लेंथ की परवाह किए बिना एक्जीक्यूट हो।

[NOVA]: वह सेंटेंस डेंस है, लेकिन प्रोडक्शन लेसन क्लियर है। लार्ज-मॉडल सर्विंग फेलियर्स अक्सर वहीं होते हैं जहां मॉडल आर्किटेक्चर, एक्सेलेरेटर बिहेवियर, कर्नेल शेड्यूलिंग, और कैप्चर टाइमिंग इंटरसेक्ट करते हैं। एक मॉडल ठीक हो सकता है। प्रॉम्प्ट ठीक हो सकता है। सर्वर फिर भी हैंग हो सकता है क्योंकि एक स्पेशलाइज़्ड पाथ एक स्पेसिफिक कैप्चर और हार्डवेयर प्रोफाइल के तहत अलग तरह से बिहेव करता है।

[ALLOY]: स्पार्स अटेंशन टॉप-k शेड्यूलिंग मैटर्स क्योंकि सर्विंग इंजन यह तय कर रहा है कि स्केल पर कौन सा अटेंशन वर्क कुशल रहे। पर्सिस्टेंट कर्नेल्स का उपयोग वर्क को रेजिडेंट रखने और सuitable एक्सेलेरेटर्स पर ओवरहेड कम करने के लिए किया जाता है। Hopper का अपना परफॉर्मेंस प्रोफाइल है। अगर कोई पाथ डिसेबल है या गलत ऑर्डर में है, तो एक नैरो कॉन्फ़िगरेशन प्रोग्रेस करना बंद कर सकता है।

[NOVA]: CUDA ग्राफ कैप्चर एक और लेयर जोड़ता है। GPU वर्क के सीक्वेंस को कैप्चर करने से रिपीटेड इंफरेंस के दौरान ओवरहेड कम हो सकता है। लेकिन कैप्चर इस बारे में असम्पशन को भी फ्रीज करता है कि कौन से कर्नेल रन होते हैं और किस ऑर्डर में। अगर एक memset कर्नेल वन मैक्सिमम सीक्वेंस कंडीशन के तहत कैप्चर के दौरान स्किप हो जाता है, तो बाद में एक्जीक्यूशन में स्टेल या अनइनिशियलाइज़्ड स्टेट दिख सकता है।

[ALLOY]: यही वजह है कि स्मोक टेस्ट काफी नहीं हैं। एक क्वाइट सर्वर पर एक सिंपल प्रॉम्प्ट पास हो सकता है। फेलियर को होने के लिए प्रभावित मॉडल, प्रभावित एक्सेलेरेटर, एक स्पेसिफिक MTP सेटिंग, स्पार्स अटेंशन, CUDA ग्राफ्स, और एक सीक्वेंस लेंथ या बैच पैटर्न की जरूरत हो सकती है जो प्रॉब्लेमैटिक पाथ को एक्सरसाइज करता है।

[NOVA]: V1 इंजन KV कैश मैनेजर फिक्स दूसरा सिग्नल है। KV ब्लॉक एलोकेट होने में विफल हो सकते हैं। KV कैश व्यवहार थ्रूपुट और लेटेंसी के लिए केंद्रीय है क्योंकि हर जनरेटेड टोकन पिछले कॉन्टेक्स्ट से स्टोर्ड की-वैल्यू स्टेट पर निर्भर करता है। एलोकेशन की समस्याएं दबाव में दिखाई देती हैं: लंबे कॉन्टेक्स्ट, हायर कंकरेंसी, फ्रैगमेंटेशन, मॉडल-स्पेसिफिक ब्लॉक साइज, और कैश मैनेजर एज केसेस।

[ALLOY]: ऑपरेटर्स को KV कैश फिक्सेस को सिर्फ बग फिक्सेस नहीं बल्कि कैपेसिटी और रिलायबिलिटी चेंजेस के रूप में देखना चाहिए। अगर कैश मैनेजर गलत तरीके से एलोकेट करता है या ब्लॉक्स को गलत तरीके से रिफ्यूज करता है, तो यूजर्स फेल्ड रिक्वेस्ट्स, कम थ्रूपुट, अनस्टेबल लेटेंसी, या गलत शेड्यूलिंग डिसीज़न देख सकते हैं। रोलआउट टेस्टिंग में प्रोडक्शन में इस्तेमाल किए गए असली कॉन्टेक्स्ट लेंथ्स और कंकरेंसी लेवल्स शामिल होने चाहिए।

[NOVA]: gpt-oss MXFP4 पाथ कंपाइलर इंटीग्रेशन की तरफ इशारा करता है। रिलीज़ unpadded हिडन-डाइमेंशन मेटाडेटा को एक फेक MoE op के जरिए वायर करता है ताकि torch compile काम कर सके। फेक op का इस्तेमाल अक्सर कंपाइलर और ट्रेसिंग सिस्टम्स को फुल कस्टम कर्नेल को एक्जीक्यूट किए बिना shapes और operations के बारे में रीज़न करने देने के लिए किया जाता है।

[ALLOY]: क्वांटाइज़्ड MoE सर्विंग के कई शेप-सेंसिटिव पाथ्स हैं। MXFP4 रिप्रेजेंटेशन बदलता है। MoE डिस्पैच बदलता है कि कौन से एक्सपर्ट्स एक्टिव हैं। Unpadded डाइमेंशन्स मायने रखते हैं क्योंकि कंपाइलर को ग्राफ जनरेट या वैलिडेट करने के लिए सटीक मेटाडेटा चाहिए। अगर फेक op गलत शेप रिपोर्ट करता है, तो compile-time असम्पशन टूट सकते हैं भले ही eager एक्जीक्यूशन ठीक दिखे।

[NOVA]: Qwen3-VL चेंज एक deepstack बाउंड्री चेक हटाता है जो हेवी लोड के नीचे फेल हो सकता है। यह एक multimodal serving clue है। Vision-language मॉडल अक्सर इमेज प्रीप्रोसेसिंग, टोकन पैकिंग, बाउंड्री चेक्स, टेक्स्ट जेनरेशन, और मॉडल-स्पेसिफिक पार्सर्स को कंबाइन करते हैं। हेवी लोड उन असम्पशन्स को एक्सपोज कर सकता है जो सिंगल-इमेज टेस्ट में दिखाई नहीं देते।

[ALLOY]: प्रैक्टिकल रोलआउट प्लान मॉडल-स्पेसिफिक है। DeepSeek V4 के लिए, Hopper, sparse attention, MTP सेटिंग्स, CUDA graph capture, और लॉन्ग सीक्वेंसिज़ टेस्ट करें। gpt-oss के लिए, MXFP4 और torch compile टेस्ट करें, सिर्फ डिफॉल्ट प्रिसिज़न नहीं। Qwen3-VL के लिए, लोड के नीचे multimodal बैचेस टेस्ट करें। V1 इंजन के लिए, रियलिस्टिक कंकरेंसी के साथ KV कैश प्रेशर टेस्ट करें।

[NOVA]: यह भी तरीका है जिससे ऑपरेटर्स को serving patch notes पढ़ने चाहिए। hang, CUDA graph, KV cache, compile, quantization, boundary check, heavy load, parser, और allocation जैसे शब्द खोजें। वे शब्द आपको बताते हैं कि रिस्क कहां है। वे यह भी बताते हैं कि रोलआउट से पहले आपके staging एनवायरनमेंट को क्या रिप्रोड्यूस करना चाहिए।

[ALLOY]: एक उपयोगी प्रोडक्शन डिसिप्लिन है कि हर मॉडल के लिए एक serving-risk matrix रखें। मॉडल फैमिली, एक्सेलेरेटर, प्रिसिज़न, क्वांटाइज़ेशन, compile mode, graph mode, मैक्सिमम कॉन्टेक्स्ट, बैच पॉलिसी, multimodal inputs, parser, और cache सेटिंग्स के लिए रोज़। जब कोई patch note एक रो मेनशन करता है, तो आपको पता होता है कि कौन से staging jobs रन करने हैं।

[NOVA]: एक और डिसिप्लिन है कि correctness और liveness दोनों को मापें। एक मॉडल सर्वर खराब आउटपुट रिटर्न करके फेल हो सकता है, लेकिन यह hanging, timing out, cache को fragment करने, या load balancer के हारने तक धीमा होकर भी फेल हो सकता है। कर्नेल और कैश फिक्सेस अक्सर जवाब की क्वालिटी से पहले liveness को प्रभावित करते हैं।

[ALLOY]: पार्शियल रोलआउट्स के लिए भी ध्यान दें। अगर फ्लीट में मिक्स्ड GPUs हैं, तो Hopper-स्पेसिफिक फिक्स सिर्फ एक पुल पर मायने रख सकता है। अगर कुछ pods torch compile का उपयोग करते हैं और दूसरे नहीं, तो MXFP4 कंपाइलर पाथ सेवा के सिर्फ एक हिस्से को प्रभावित कर सकता है। अगर multimodal ट्रैफिक अलग से रूट किया गया है, तो Qwen3-VL टेस्ट को उस रूट को hit करना चाहिए।

[NOVA]: पैच छोटा है, लेकिन सबक बड़ा है। इन्फरेंस इन्फ्रास्ट्रक्चर कई संकीर्ण agreements का एक stack है। मॉडल कॉन्फ़िगरेशन, टोकनाइज़र, शेड्यूलर, attention kernel, cache manager, कंपाइलर, quantization format, graph capture, और parser सभी को एकमत होना होगा। प्रोडक्शन विश्वसनीयता अक्सर उन agreements में से किसी के भार से टूटने पर तय होती है।

[ALLOY]: rating उन operators के लिए ज़रूरी है जो affected models या समान कॉन्फ़िगरेशन serve कर रहे हैं। अगर आप DeepSeek V4, gpt-oss MXFP4, Qwen3-VL, या V1 engine profiles serve नहीं कर रहे, तब भी आप सीख सकते हैं कि भविष्य के patches को कैसे evaluate करना है। Serving विश्वसनीयता शायद ही कभी generic होती है। यह specific है hardware, model, और runtime path के हिसाब से।

[NOVA]: inference upgrades को सिर्फ "hello world" prompt पर roll न करें। लंबे contexts, concurrent batches, multimodal payloads, quantized paths, graph capture, और compile mode चलाएं। फिर patch से पहले और बाद latency, error rate, GPU memory, cache allocation, और hang behavior की तुलना करें।

[NOVA]: कहानी चार है - Strands Agents TypeScript 1.1 Adds Runtime Knobs for Hooks, MCP, WASM, Context Compression, Interrupts, Timeouts, and Retries। उपयोगी पहलू यह है कि agent frameworks वह behavior के चारों ओर explicit control surfaces बना रहे हैं जो पहले implicit थे।

[ALLOY]: Hooks एक अच्छी starting point हैं। Strands tool calls से पहले और बाद fields जोड़ता है, plus after-invocation behavior और एक AfterTools end-turn decision field। यह application को tool execution के आसपास runtime flow observe या modify करने की जगह देता है।

[NOVA]: Hook ordering मायने रखती है। एक before-tool hook arguments validate कर सकता है, correlation metadata attach कर सकता है, policy enforce कर सकता है, या execution block कर सकता है। एक after-tool hook result inspect कर सकता है, sensitive output redact कर सकता है, oversized data summarize कर सकता है, telemetry emit कर सकता है, या decide कर सकता है कि agent को continue करना चाहिए या नहीं। End-turn decision खासतौर पर important है क्योंकि हर tool result को automatically दूसरा model step trigger नहीं करना चाहिए।

[ALLOY]: Explicit hooks के बिना, developers often यह logic wrappers, monkey patches, और tool implementations में scatter करते हैं। यह behavior को audit करना मुश्किल बनाता है। एक first-class hook surface यह स्पष्ट करता है कि lifecycle code कहाँ run होती है और वह क्या देख सकती है।

[NOVA]: MCP support भी production-shaped हो रही है। listTools paginate कर सकता है। Server logs और metadata surface किए जा सकते हैं। Fail-open controls हैं। MCP clients को async disposal मिलती है। ये runtime operations हैं, सिर्फ protocol niceties नहीं।

[ALLOY]: Pagination important है क्योंकि tool lists बढ़ सकते हैं। एक server कई tools, dynamic tools, या user-specific tools expose कर सकता है। पूरी catalog को एक call में load करना slow या brittle हो सकता है। एक paginated listTools contract client को large catalogs को deliberately handle करने देती है।

[NOVA]: Server logs और metadata diagnosis में help करते हैं। अगर कोई MCP server slow है, tool miss कर रहा है, auth reject कर रहा है, या unexpected schema return कर रहा है, तो host application को visibility चाहिए। Fail-open behavior एक policy choice है: जब metadata या logs fetch नहीं हो सकतीं तब agent को continue करना चाहिए, या fail closed होना चाहिए? अलग-अलग applications अलग-अलग choose करेंगी।

[ALLOY]: एसिंक डिस्पोजल क्लीनअप सेमांटिक्स है। लंबे समय से चल रहे एजेंट क्लाइंट, ट्रांसपोर्ट, स्ट्रीम और सर्वर कनेक्शन खोलते हैं। अगर क्लीनअप स्पष्ट नहीं है, तो सफल रन भी रिसोर्सेज लीक कर सकता है। सर्विस प्रोसेस में, लीक हुए MCP क्लाइंट फाइल डिस्क्रिप्टर, मेमोरी, खुले सॉकेट और कन्फ्यूजिंग सर्वर-साइड सेशन बन जाते हैं।

[NOVA]: कॉन्टेक्स्ट कम्प्रेशन एक और बड़ा रनटाइम नॉब है। Strands कन्वर्सेशन मैनेजर्स के लिए प्रोएक्टिव कम्प्रेशन जोड़ता है। कॉन्टेक्स्ट विंडोज सीमित हैं, लेकिन एजेंट अक्सर टूल रिजल्ट्स, प्लान्स, लॉग्स, रिट्रीव्ड डॉक्यूमेंट्स और इंटरमीडिएट रीजनिंग सारांश जमा करते हैं। कम्प्रेशन तय करता है कि कॉन्टेक्स्ट प्रेशर बढ़ने पर क्या उपलब्ध रहे।

[ALLOY]: कम्प्रेशन पॉलिसी को मैजिक समरीज़र की तरह नहीं माना जाना चाहिए। यह डेटा रिटेंशन फैसला है। रनटाइम को टास्क गोल्स, कंस्ट्रेंट्स, यूजर अप्रूवल्स, जो टूल आउटपुट मायने रखते हैं, अनरिज़ॉल्व्ड एरर्स और सोर्स रेफरेंस सेव करने चाहिए। यह रिपीटेड लॉग्स, वर्बोज इंटरमीडिएट आउटपुट्स या स्टेल डिस्कशन को कम्प्रेस कर सकता है। लेकिन अगर यह सेफ्टी कंस्ट्रेंट को कम्प्रेस कर दे, तो एजेंट ऐसे काम कर सकता है जैसे परमिशन बदल गई।

[NOVA]: ह्यूमन-इन-द-लूप इंटरप्ट एक चेकपॉइंट कॉन्सेप्ट जोड़ते हैं। एजेंट अप्रूवल, क्लैरिफिकेशन या ऑपरेटर इनपुट के लिए रुक सकता है। उस रुकावट को ड्यूरेबल स्टेट चाहिए। एप्लिकेशन को पता होना चाहिए कि कौन सा एक्शन पेंडिंग है, उसे ह्यूमन की क्यों जरूरत है, कौन से इनपुट अलाउड हैं, चेकपॉइंट कितनी देर रुक सकता है, और टाइमआउट पर क्या होगा।

[ALLOY]: ग्राफ और स्वार्म टाइमआउट एक-दूसरे से जुड़े हैं। मल्टी-एजेंट ग्राफ्स और स्वार्म लूप कर सकते हैं, स्लो टूल्स पर इंतज़ार कर सकते हैं, या ऑरिजिनल स्कोप से ज़्यादा काम बढ़ा सकते हैं। टाइमआउट कंट्रोल मैक्सिमम रनटाइम एनवेलप तय करते हैं। वे एक फेलियर स्टेट भी बनाते हैं जिसे एप्लिकेशन को हैंडल करना होगा। टाइमआउट को सिर्फ खाली फेलियर नहीं, बल्कि उपयोगी पार्शियल रिजल्ट या डायग्नोस्टिक देना चाहिए।

[NOVA]: मॉडल रिट्राई और बैकऑफ स्ट्रैटेजी टाइप्स फेलियर बिहेवियर को स्पष्ट बनाते हैं। हर एरर को तुरंत रिट्राई करना रेट लिमिट्स और कॉस्ट बढ़ा सकता है। कभी न रिट्राई करना ट्रांज़िएंट प्रोवाइडर एरर्स को यूजर-विजिबल बना सकता है। टाइप्ड रिट्राई पॉलिसी एप्लिकेशन को रिट्राएबल ट्रांसपोर्ट फेलियर्स, रेट लिमिट्स, मॉडल ओवरलोड, स्कीमा एरर्स, टूल एरर्स और यूजर-करेक्टेबल इनपुट प्रॉब्लम्स में अंतर करने देती है।

[ALLOY]: WASM ब्रिज और स्ट्रक्चर्ड आउटपुट टाइप-सेफ्टी बाउंड्रीज की ओर इशारा करते हैं। जब एजेंट रनटाइम भाषा या एक्जीक्यूशन एनवायरनमेंट क्रॉस करते हैं, टाइप्स ड्रिफ्ट हो सकते हैं। TypeScript में वैलिड स्कीमा WASM ब्रिज से स्मूदली सीरियलाइज़ नहीं हो सकता। कॉन्ट्रैक्ट टेस्ट इस रिस्क को कम करते हैं कि टूल रिजल्ट एक एनवायरनमेंट में काम करे और दूसरे में ब्रेक हो जाए।

[NOVA]: इनवैलिड टूल नेम्स को नॉर्मलाइज़ करना एक छोटा फिक्स है जिसके असली निहितार्थ हैं। टूल नेम्स अक्सर मॉडल प्रॉम्प्ट्स, प्रोवाइडर APIs, JSON स्कीमा, ट्रेसिंग और एक्सटर्नल प्रोटोकॉल से होकर गुजरते हैं। इनवैलिड नेम्स प्रोवाइडर रिजेक्शन, हिडन रीनेमिंग या मिसमैच्ड टूल कॉल्स करा सकते हैं। नॉर्मलाइज़ेशन प्रेडिक्टेबल और विजिबल होना चाहिए ताकि ऑपरेटर्स को पता रहे कि मॉडल को क्या कॉल करने की अनुमति है।

[ALLOY]: लोकल एजेंट्स जो मॉडल आइडेंटिटी एक्सपोज़ करते हैं वे ऑडिटेबिलिटी में मदद करते हैं। अगर कोई लोकल एजेंट मॉडल चलाता है, तो एप्लिकेशन को रिपोर्ट करने में सक्षम होना चाहिए कि कौन सा मॉडल इस्तेमाल हुआ। यह डिबगिंग, बेंचमार्किंग, प्राइवेसी रिव्यू और रिप्रोड्यूसिबिलिटी के लिए मायने रखता है। "एक लोकल मॉडल ने जवाब दिया" काफी नहीं है।

[NOVA]: ऑपरेटर टेकअवे यह है कि एजेंट SDK एक रनटाइम बनता जा रहा है। उसे लाइफसाइकल इवेंट्स, क्लीनअप, रिट्राई पॉलिसी, कॉन्टेक्स्ट-प्रेशर कंट्रोल, ह्यूमन चेकपॉइंट्स, टाइमआउट पॉलिसी और इंस्पेक्शन पॉइंट्स चाहिए। जितने ज़्यादा टूल्स और एजेंट्स वह ऑर्केस्ट्रेट करता है, ये कंट्रोल्स उतने ज़्यादा मायने रखते हैं।

[ALLOY]: Strands-स्टाइल कंट्रोल अपनाने वाले बिल्डर्स के लिए, इंसिडेंट से पहले ऑपरेटिंग डैशबोर्ड डिज़ाइन करें। एक्टिव रन, करंट ग्राफ नोड, पेंडिंग इंटरप्ट, लास्ट टूल कॉल, कॉन्टेक्स्ट कम्प्रेशन इवेंट, रिट्री अटेम्प्ट, टाइमआउट बजट, MCP सर्वर स्टेटस, और क्लीनअप रिज़ल्ट दिखाएं। अगर आप ये स्टेट्स नहीं देख सकते, तो आप एजेंट को ऑपरेट नहीं कर सकते।

[NOVA]: सीरियस TypeScript एजेंट एप्लिकेशन बनाने वाली टीमों के लिए रेटिंग हाई है। अगर आपका एजेंट एक टूल कॉल करके बाहर निकलता है, तो कुछ फीचर्स भारी लग सकती हैं। अगर आपका एजेंट लंबे वर्कफ्लो चलाता है, MCP इस्तेमाल करता है, कॉन्टेक्स्ट कंप्रेस करता है, अप्रूवल माँगता है, या ग्राफ एक्जीक्यूशन को कूॉर्डिनेट करता है, तो ये कंट्रोल फ्रेमवर्क और प्रोडक्शन रनटाइम के बीच का फर्क हैं।

[ALLOY]: इम्प्लीमेंटेशन चेकलिस्ट क्लासिफिकेशन से शुरू होती है। सिंक्रोनस मॉडल कॉल्स को बैकग्राउंड एजेंट जॉब्स से अलग करें। Gemini Deep Research बैकग्राउंड-जॉब बकेट में आता है। इंटरैक्शन ID स्टोर करें। स्ट्रीम ऑफसेट रिकॉर्ड करें। कैंसल कंट्रोल प्रोवाइड करें। स्टेटस दिखाएं। अनट्रस्टेड डॉक्यूमेंट्स के बारे में वार्न करें। टूल बजट और सोर्स प्रोवेनेंस ट्रैक करें।

[NOVA]: Agents SDK अपग्रेड के लिए, सैंडबॉक्स फाइल ग्रांट्स को डायरेक्ट टेस्ट करें। नॉर्मल आर्काइव्स, ओवरसाइज़्ड आर्काइव्स, स्ट्रेंज आर्काइव पाथ्स, और Git सबपाथ्स इस्तेमाल करें। कन्फर्म करें कि सिर्फ इंटेंडेड फाइल्स ही सैंडबॉक्स में पहुँचती हैं। कन्फर्म करें कि एरर्स यूज़फुल और रेडेक्टेड हैं। फिर ट्रेस एक्सपोर्टर फेलियर, प्रोसेस शटडाउन, सेशन रिज़्यूम, करप्ट सेशन आइटम्स, होस्टेड टूल आइडेंटिटी, और रियलटाइम अप्रूवल स्कोपिंग टेस्ट करें।

[ALLOY]: vLLM के लिए, अपने सर्विंग पाथ से मैच करने वाली रोलआउट चेकलिस्ट बनाएं। एक्सेलरेटर टाइप, CUDA ग्राफ सेटिंग्स, मैक्सिमम कॉन्टेक्स्ट, बैच पॉलिसी, KV कैश साइज़, क्वांटिज़ेशन, torch कंपाइल, मॉडल-स्पेसिफिक पार्सर, मल्टीमॉडल ट्रैफिक, और लोड लेवल शामिल करें। एक सिंगल प्रॉम्प्ट रोलआउट टेस्ट नहीं है। यह सिर्फ लाइवनेस चेक है।

[NOVA]: Strands या किसी भी एजेंट फ्रेमवर्क के लिए, लाइफसाइकल इंस्ट्रूमेंट करें। कॉरिलेशन IDs के साथ बिफोर-टूल और आफ्टर-टूल इवेंट्स लॉग करें। तय करें कि कॉन्टेक्स्ट कम्प्रेशन क्या रिमूव कर सकता है। ह्यूमन इंटरप्ट स्टेट्स डिफाइन करें। ग्राफ और स्वार्म टाइमआउट्स सेट करें। रिट्री और बैकऑफ पॉलिसी चुनें। सुनिश्चित करें कि MCP क्लाइंट्स डिस्पोज़ होते हैं। टूल-नेम नॉर्मलाइज़ेशन को विज़िबल बनाएं।

[ALLOY]: चारों स्टोरीज़ में, वर्जन पिनिंग मायने रखती है। प्रीव्यू एजेंट्स, SDK पैच रिलीज़ेस, सर्विंग रनटाइम्स, और फ्रेमवर्क कंट्रोल प्लेन बिहेवियर बदल सकते हैं। डिप्लॉयमेंट में वर्जन पिन करें। फेलियर मोड के हिसाब से रिलीज़ नोट्स पढ़ें। हर बाउंडरी के लिए एक स्टेजिंग सिनारियो रखें।

[NOVA]: सिक्योरिटी पोस्चर को भी स्पष्ट होना चाहिए। अपलोडेड डॉक्यूमेंट्स, वेब पेजेस, टूल आउटपुट, मॉडल-जनरेटेड टूल आर्ग्यूमेंट्स, और एक्सटर्नल MCP सर्वर को अनट्रस्टेड इनपुट्स की तरह ट्रीट करें। टाइप्ड स्कीमा जहाँ काम करे वहाँ इंटरप्रेटेड स्ट्रिंग्स से बचें। क्रेडेंशियल्स को ब्रॉड एजेंट कॉन्टेक्स्ट से दूर रखें। सीक्रेट्स लीक किए बिना अप्रूवल्स लॉग करें।

[ALLOY]: ऑब्ज़र्वेबिलिटी यूज़र रिक्वेस्ट को रनटाइम इवेंट से कनेक्ट करनी चाहिए। एक रिसर्च जॉब में एप्लिकेशन जॉब ID और इंटरैक्शन ID होनी चाहिए। एक सैंडबॉक्स रन में मैटीरियलाइज़ेशन लॉग्स होने चाहिए। एक मॉडल सर्वर रिक्वेस्ट में मॉडल, एक्सेलरेटर, कैश, कंपाइल, और ग्राफ मेटाडेटा होना चाहिए। एक एजेंट ग्राफ में नोड, टूल, रिट्री, इंटरप्ट, और टाइमआउट इवेंट्स होने चाहिए।

[NOVA]: एडॉप्शन ऑर्डर कंजर्वेटिव होना चाहिए। इसे व्यापक रूप से एक्सपोज़ करने से पहले Gemini Deep Research को एक कतार के पीछे रैप करें। स्टेजिंग में Agents Python अपग्रेड करें और बाउंडरी टेस्ट चलाएं। vLLM पैचेस को मॉडल-स्पेसिफिक कैनरी के जरिए रोल करें। Strands रनटाइम कंट्रोल इंक्रीमेंटली जोड़ें, हुक्स, टाइमआउट्स, क्लीनअप, और रिट्रीज़ से शुरू करके।

[ALLOY]: सबसे मजबूत टीमें इन अपडेट्स को अलग-अलग न्यूज़ आइटम्स की तरह नहीं मानेंगी। वे इन्हें रनबुक्स में बदल देंगी: ड्रॉप हुए रिसर्च स्ट्रीम को फिर से कैसे शुरू करें, सैंडबॉक्स मैटेरियलाइज़ेशन को कैसे जांचें, CUDA ग्राफ हैंग को कैसे डायग्नोज़ करें, कम्प्रेस्ड कॉन्टेक्स्ट को कैसे इंस्पेक्ट करें, और ह्यूमन इंटरप्ट टाइमआउट से कैसे रिकवर करें।

[ALLOY]: चेकलिस्ट में एक और इम्प्लिमेंटेशन डिटेल होना चाहिए: हर बाउंड्री के लिए स्वामित्व तय करें। प्रोडक्ट टीम यूज़र-फेसिंग जॉब स्टेट की मालिक हो सकती है। प्लेटफॉर्म टीम क्यूज़, रिट्राइज़ और बजट एन्फोर्समेंट की मालिक हो सकती है। सिक्योरिटी टीम डॉक्यूमेंट हैंडलिंग, सैंडबॉक्स ग्रांट्स और अप्रूवल लॉग्स की मालिक हो सकती है। इन्फ्रास्ट्रक्चर टीम इन्फरेंस कैनरीज़ और कैश टेलीमेट्री की मालिक हो सकती है। अगर किसी बाउंड्री की कोई मालिक नहीं है, तो यह वो जगह बन जाती है जहां फेलियर्स तब तक डिस्कवर नहीं होते जब तक यूज़र्स रिपोर्ट नहीं करते।

[NOVA]: और हर बाउंड्री के लिए एक रोलबैक प्लान चाहिए। एक Deep Research इंटीग्रेशन को रिमोट टूल्स को डिसेबल किए बिना डिसेबल करना चाहिए, हर जवाब को नहीं। एक Agents SDK अपग्रेड को रिवर्सिबल होना चाहिए अगर सैंडबॉक्स स्टेजिंग चेंजेज़ वर्कफ्लोज़ को तोड़ती हैं। एक vLLM रोलआउट को तुरंत एफेक्टेड मॉडल पूल को ड्रेन करना चाहिए अगर हैंग्स दिखें। एक Strands रनटाइम चेंज को ऑपरेटर्स को एक एग्रेसिव कम्प्रेशन या रिट्राई पॉलिसी को बंद करने देना चाहिए इससे पहले कि वह स्टेट को करप्ट करे या लोड को बढ़ाए।

[ALLOY]: डॉक्यूमेंटेशन ऑपरेशनल होनी चाहिए, एस्पिरेशनल नहीं। जॉब स्टेट्स, सैंडबॉक्स स्टेजिंग रूल्स, सर्विंग टेस्ट मैट्रिक्स और एजेंट लाइफसाइकिल इवेंट्स लिखें। फिर उन डॉक्यूमेंट्स को कोड और डिप्लॉयमेंट कॉन्फिगरेशन के करीब रखें। सबसे खराब रनबुक वह है जो उस आर्किटेक्चर का वर्णन करती है जो टीम चाहती थी कि होता, प्रोडक्शन में असल में जो चल रहा है उसके बजाय।

[NOVA]: यही एक्सपेरिमेंटिंग विद एजेंट्स और ऑपरेटिंग एजेंट्स के बीच का फर्क है। एक्सपेरिमेंट्स कैपेबिलिटी के लिए ऑप्टिमाइज़ करती हैं। ऑपरेशंस रिकवरेबिलिटी, ऑडिटेबिलिटी और बाउंडेड फेलियर के लिए ऑप्टिमाइज़ करती हैं।

[ALLOY]: EP049 से पार्कटिकल टेकअवे यह है कि एजेंट इन्फ्रास्ट्रक्चर ज़्यादा एक्सप्लिसिट हो रहा है। Gemini Deep Research रिसर्च को बैकग्राउंड API जॉब में ले जाता है। OpenAI Agents Python सैंडबॉक्स, ट्रेस, सेशन और रियलटाइम अप्रूवल बाउंड्रीज़ को हार्डन करता है। vLLM दिखाता है कि सर्विंग रिलायबिलिटी कर्नेल्स, कैश मैनेजर्स, कम्पाइलर मेटाडेटा और लोड-स्पेसिफिक चेक्स पर कैसे निर्भर करती है। Strands TypeScript हुक्स, MCP, कम्प्रेशन, इंटरप्ट्स, टाइमआउट्स, क्लीनअप और रिट्राइज़ के आसपास रनटाइम कंट्रोल्स जोड़ता है।

[NOVA]: बिल्डर्स के लिए नियम यह है कि हिडन स्टेट को विज़िबल बनाओ। स्टोर आइडीज़। रिसर्च स्ट्रीम्स को रिज्यूम करो। फाइल मैटेरियलाइज़ेशन को बाउंड करो। टूल आइडेंटिटी को प्रिज़र्व करो। कैश प्रेशर को टेस्ट करो। कर्नल पाथ्स को मेज़र करो। टूल कैटलॉग्स को पैजिनेट करो। क्लाइंट्स को डिस्पोज़ करो। ह्यूमन अप्रूवल और टाइमआउट स्टेट्स को ऑडिटेबल बनाओ।

[ALLOY]: अगर इस हफ्ते एक ऑपरेशनल मूव करना है, तो वह बाउंड्री चुनो जहां आपके सिस्टम को डीबग करना सबसे मुश्किल होगा और वहां एक टेस्ट और एक ट्रेस जोड़ो। कुछ टीमों के लिए वह एक ड्रॉप हुआ Deep Research स्ट्रीम है। दूसरों के लिए यह सैंडबॉक्स आर्काइव है। मॉडल-सर्विंग टीमों के लिए यह लॉन्ग-कॉन्टेक्स्ट CUDA ग्राफ कैनरी है। TypeScript एजेंट टीमों के लिए यह एक इंटरप्ट या कॉन्टेक्स्ट कम्प्रेशन इवेंट है।

[NOVA]: OpenClaw Daily सुनने के लिए शुक्रिया। शो नोट्स और सोर्स लिंक्स Toby On Fitness Tech dot com पर उपलब्ध हैं, और हम जल्द वापस आएंगे।