OpenClaw Codex OAuth रूटिंग, रियलटाइम वॉइस, OpenAI SDK इमेज अपडेट्स, और vLLM सर्विंग स्टेबिलाइज़ेशन
OpenClaw Daily OpenClaw v2026.5.4 से v2026.5.6 तक की जांच करता है, रियलटाइम Google Meet और Voice Call स्पीच, Twilio ऑडियो बैकप्रेशर, प्लगइन माइग्रेशन हिंट्स, वर्कस्पेस-स्कोप्ड मेटाडेटा स्नैपशॉट्स, SecretRef कॉन्ट्रैक्ट रेज़ोल्यूशन, मॉडल ऑथ इंस्पेक्शन, स्टार्टअप फेज डायग्नोस्टिक्स, रिच Slack प्रोग्रेस ड्राफ्ट्स, और कॉम्पैक्ट टूल-प्रोग्रेस आउटपुट पर ध्यान केंद्रित करता है। एपिसोड फिर LangGraph v1.2 अल्फा के नोड टाइमआउट, DeltaChannel चेकपॉइंटिंग, एरर हैंडलर्स, और स्ट्रीमिंग API को ब्रेक डाउन करता है। Show notes: https://tobyonfitnesstech.com/hi/podcasts/episode-46/
🎧 Listen to Episode[00:00] OpenClaw v2026.5.4, v2026.5.5, और v2026.5.6 आज अग्रभूमि में हैं क्योंकि ये एजेंट सिस्टम के उन हिस्सों को बदलते हैं जिन्हें उपयोगकर्ता वास्तव में महसूस करते हैं: रियलटाइम वॉइस रेस्पॉन्सिवनेस, चैनल प्रोग्रेस, प्लगइन मेटाडेटा, SecretRef कॉन्ट्रैक्ट्स, मॉडल ऑथ विजिबिलिटी, स्टार्टअप परफॉर्मेंस, और रिकवरी डायग्नोस्टिक्स। यह रिलीज विशेष रूप से दिलचस्प है क्योंकि हेडलाइन सिर्फ "वॉइस काम करती है" नहीं है। यह है कि फोन डायल-इन पथ, Google Meet रूम, रियलटाइम Gemini वॉइस ब्रिज, Twilio वेबसॉकेट, और OpenClaw की क्यूइंग और स्पीच कंट्रोल अब एक रियलटाइम सिस्टम की तरह व्यवहार करती हैं।
[02:30] कहानी 1 — OpenClaw v2026.5.4 से v2026.5.6 रियलटाइम वॉइस, प्लगइन मेटाडेटा, SecretRefs, स्टार्टअप, प्रोग्रेस, और डायग्नोस्टिक्स को अधिक ऑपरेबल बनाते हैं Google Meet और वॉइस कॉल से शुरू करें। Twilio डायल-इन अब paced audio streaming, backpressure-aware buffering, barge-in queue clearing, और realtime speech के दौरान कोई TwiML fallback के साथ रियलटाइम Gemini वॉइस ब्रिज के माध्यम से बोलता है। यह एक सार्थक आर्किटेक्चर परिवर्तन है। एक वॉइस एजेंट तब तक रेस्पॉन्सिव महसूस नहीं कर सकता अगर फोन leg audio को मॉडल ब्रिज से तेज भेज रहा है, अगर जनरेटेड स्पीच websocket के पीछे जमा हो रही है, या अगर barge-in किसी प्रतिभागी के इंटरप्ट करने के बाद पुराना audio क्यू में छोड़ देती है।
Paced audio stream मुख्य मैकेनिज्म है। रियलटाइम वॉइस में कम से कम तीन क्लॉक होते हैं: उपयोगकर्ता की स्पीच, प्रोवाइडर का जनरेटेड ऑडियो, और ट्रांसपोर्ट की फ्रेम भेजने की क्षमता। अगर जनरेटेड ऑडियो websocket से आगे निकल जाता है, तो सिस्टम को buffering की जरूरत है, लेकिन unbounded buffering गलत failure mode बनाती है। उपयोगकर्ता इंटरप्ट करता है, मॉडल दिशा बदलता है, और पुराना ऑडियो अभी भी क्यू में है। v2026.5.4 paced Twilio audio queue को bound करता है और प्रोवाइडर ऑडियो websocket backpressure guard के पीछे जमा होने से पहले ओवरलोडेड realtime streams को बंद करता है। यही सही tradeoff है: स्टेल कंटेंट बोलते रहने के बजाय visibly fail करें और recover करें।
Barge-in queue clearing उतना ही महत्वपूर्ण है। एक वॉइस असिस्टेंट को तब बोलना बंद कर देना चाहिए जब कोई प्रतिभागी इंटरप्ट करता है। यह सरल लगता है, लेकिन इसके लिए pending जनरेटेड ऑडियो को clear करना, active turn को coordinate करना, और सुनिश्चित करना आवश्यक है कि अगला स्पीच सेगमेंट नई conversational state को reflect करे। अगर ब्रिज सिर्फ playback को pause करता है लेकिन क्यूड ऑडियो को intact छोड़ देता है, तो एजेंट पुराने सवाल का जवाब देने के साथ resume कर सकता है। यह रिलीज barge-in को एक सतही mute बटन की बजाय queue-management और state-management समस्या में बदल देती है।
No-TwiML-fallback detail मायने रखता है क्योंकि fallback आर्किटेक्चर समस्याओं को छिपा सकती है। TwiML conventional telephony flows के लिए उपयोगी है, लेकिन एक realtime मॉडल ब्रिज को low-latency streaming और backpressure awareness की जरूरत है। अगर speech realtime session के दौरान silently TwiML पर fallback हो जाती है, तो प्रतिभागी delayed या mismatched ऑडियो सुन सकते हैं जबकि ऑपरेटर सोचता है कि realtime ब्रिज काम कर रही है। v2026.5.4 realtime speech को realtime path पर रखता है, जो failures को अधिक honest बनाता है और performance को reasoning करना आसान बनाता है।
Telephony synthesis भी साफ हो जाती है। Provider voice और model overrides telephony synthesis providers में honored होते हैं, इसलिए Google Meet agent speech logs उस backend से मेल खाती हैं जिसने वास्तव में ऑडियो प्रोड्यूस किया। यह एक छोटी सी logging fix लगती है, लेकिन debugging के लिए मायने रखती है। अगर एक voice run कहता है कि एक backend ने speech प्रोड्यूस की जबकि दूसरा backend ने वास्तव में किया, तो latency analysis, quality comparison, cost attribution, और incident review सभी polluted हो जाते हैं।
Windows Gateway fix एक और concrete operator detail है। Default loopback listener Windows पर सिर्फ 127.0.0.1 से bind होता है ताकि libuv dual-stack ::1 behavior localhost HTTP requests को wedge न करे। Localhost bugs दर्दनाक होते हैं क्योंकि सब कुछ local और safe लगता है, फिर भी clients IPv4 बनाम IPv6 loopback behavior पर असहमत होते हैं। IPv4 loopback पर narrowly bind करने से Windows उपयोगकर्ताओं के लिए default Gateway path अधिक predictable हो जाती है और hard-to-debug local HTTP failures का एक class टल जाता है।
Plugin migration hints upgrade behavior में सुधार करते हैं। जब plugins.entries या plugins.allow किसी official external plugin का रेफरेंस करता है जो installed नहीं है, OpenClaw अब catalog-backed install hints emit करती है। महत्वपूर्ण product decision यह है कि valid plugin config को garbage की तरह treat नहीं करना चाहिए सिर्फ इसलिए कि upgrade के बाद पैकेज missing है। ऑपरेटर को plugin spec install करने जैसा path दिखना चाहिए, कॉन्फ़िगरेशन delete करने का misleading instruction नहीं। यही है कि externalized plugins maintainable बनती हैं fragile की जगह।
SecretRef contract resolution एक high-value fix प्राप्त करती है। Externalized channel plugins जिनके compiled artifacts dist/ के अंदर रहते हैं, अब अपना secret-contract-api sidecar runtime snapshot में contribute कर सकते हैं। उस lookup के बिना, एक env-backed Discord token SecretRef Gateway start पर resolve होने में fail कर सकती है और चैनल को not configured के रूप में mark कर सकती है भले ही generic external-contract loader मौजूद हो। यह एक classic packaging boundary समस्या है: contract मौजूद है, लेकिन runtime गलत compiled path खोजती है। यह रिलीज उस gap को close करती है।
Secrets apply भी scrub करते समय auth-profile keyRef और tokenRef fields को preserve करती है। यह secret management के लिए सही shape है। Scrubbing plaintext values remove करनी चाहिए canonical metadata को destroy किए बिना जो कहता है कि secret reference कहाँ रहता है। अगर कोई cleanup tool reference metadata delete कर देती है, तो secure config unusable हो जाती है। अगर वह plaintext रखती है, तो यह secure नहीं है। Secret material remove करते हुए SecretRef metadata preserve करना वह मध्य path है जिसकी ऑपरेटर्स को जरूरत है।
Active Memory को scoped-channel guard मिलता है। Session-store channel entries जिनमें colon है, वे recall subagent के channel को resolve करते समय skip हो जाते हैं, ताकि QQ c2c agent IDs और अन्य scoped conversation IDs bundled-plugin directory-name validation तक न पहुँचें और recall crash न करे। Implementation detail महत्वपूर्ण है क्योंकि कई chat ecosystems scope को identifiers में encode करते हैं। Colon एक channel या conversation id में पूरी तरह valid हो सकता है जबकि plugin directory name के लिए invalid हो। Runtime code को उन namespaces को confuse नहीं करना चाहिए।
Performance work workspace-scoped plugin metadata snapshots के आसपास जारी रहता है। BTW, compaction, embedded-run model generation, PDF model setup, unscoped model catalog readers, और manifest-contract readers current workspace-compatible plugin metadata snapshot को reuse कर सकते हैं cold plugin metadata scans पर fallback करने के बजाय। Mechanism glamorous नहीं है, लेकिन यह महत्वपूर्ण है: compatibility-checked snapshot का उपयोग करें जब env, config, और workspace match हों; हर hot control-plane path पर plugin metadata को re-scan न करें। यह latency और memory pressure को correctness को compromise किए बिना कम करता है।
Model authentication को openclaw models auth list के through safer inspection surface मिलता है, provider filtering और JSON output के साथ। Operators को यह जानना जरूरी है कि कौन से per-agent auth profiles मौजूद हैं बिना secrets dump किए। एक list command जो saved auth profile metadata दिखाती है, config files खोलने, provider calls trigger करने, या accidentally tokens print करने से बेहतर debugging tool है। यह operator tooling में एक बड़े theme का हिस्सा है: sensitive values expose किए बिना state inspect करना।
Control UI और chat practical usability को tighten करते हैं। Dashboard breadcrumbs active agent name दिखाते हैं बिना non-chat views को session key से crowd किए। New Job cron sidebar collapse हो सकता है ताकि job list space reclaim कर सके। Chat को agent-first session picker, phone, tablet, और desktop widths पर responsive composer और control rows, duplicate avatar refresh avoidance, scroll-aware hiding, और duplicate text-message collapse मिलता है repeated no-op heartbeat acknowledgements के लिए। ये model features नहीं हैं, लेकिन ये affect करते हैं कि long-running agent operations readable रहते हैं या नहीं।
Progress drafts भी अधिक disciplined होते हैं। Slack structured progress line data से rich Block Kit progress drafts render कर सकता है, Block Kit limits long drafts trim करते समय newest rich progress lines रख सकता है, और long wrapped lines से jumpy reflow से बचने के लिए progress-draft tool lines को default पर cap कर सकता है। OpenClaw भी /verbose और progress drafts के लिए default पर compact explain-mode tool summaries use करता है, agents.defaults.toolProgressDetail या per-agent overrides के through raw output available है। Point यह है कि progress output informative होनी चाहिए, raw logs की wall नहीं जो chat surface तोड़ती है।
Subagent completion fallback safer है। OpenClaw हर grouped child result preserve करता है जब direct completion fallback requester-agent announce turn को bypass करता है। Multi-agent work में, child result खोना क्योंकि fallback path ने normal announcement step skip किया, exactly वह subtle reliability bug है जो users को delegation पर trust नहीं करने देता। Result set routing path को survive करनी चाहिए।
Diagnostics बेहतर attribution पाते हैं। Gateway startup phase spans, active work labels, stale terminal bridge markers, और watch mode में default sync-I/O tracing जोड़ता है। यह ready signal के बाद तक non-readiness sidecars को defer करता है, hot-path channel plugin barrel imports से बचता है, trusted bundled plugin metadata को fast-paths, और native-loadable plugin startup paths पर jiti import करने से बचता है। Lesson simple है: अगर startup slow है, तो system को phase labels और import boundaries चाहिए, guesses नहीं। अगर compiled plugin surfaces natively load हो सकते हैं, तो उन्हें source-transform loader cost नहीं चुकाना चाहिए जब तक fallback loading actual में needed न हो।
Release verdict यह है कि v2026.5.4 runtime edges को अधिक explicit बनाता है। Realtime voice को bounded queues और honest backpressure मिलता है। Plugins को बेहतर install hints और compiled contract lookup मिलती है। Secrets references रखते हैं plaintext के बिना। Model auth safely inspect किया जा सकता है। Progress surfaces structured और compact हो जाते हैं। Startup को attribution मिलता है। यही changes हैं जो agent platform को demo के बाद operate करना आसान बनाते हैं।
[28:00] STORY 2 — LangGraph v1.2 Alpha Turns Long-Running Agent Graphs into Timeout, Recovery, Checkpoint, and Streaming Problems LangGraph v1.2 alpha एक workflow-runtime release है। Important part यह नहीं है कि graphs models को call कर सकते हैं; यह है कि long-running graphs को execution limits, recovery paths, checkpoint efficiency, और streaming projection चाहिए। जब एक agent workflow में multiple nodes, slow tools, external APIs, retries, human interrupts, और long message history हैं, तो runtime को loop और state object से ज्यादा चाहिए।
Per-node timeouts सबसे clear example हैं। LangGraph add_node पर timeout= जोड़ता है, TimeoutPolicy के साथ जो run_timeout, idle_timeout, या दोनों set कर सकता है। Hard run timeout wall-clock limit के बाद abort करता है चाहे progress कुछ भी हो। Idle timeout reset होता है जब progress yield होती है और abort करता है जब streaming node output produce करना बंद कर देता है। Agent tools के लिए वह distinction matter करती है। Model call, browser run, या external API stream legitimately time ले सकता है, लेकिन silent hang को graph को हमेशा के लिए hold नहीं करना चाहिए।
टाइमआउट केवल async नोड्स पर लागू होते हैं, और टाइमआउट वाले सिंक नोड्स कंपाइल टाइम पर अस्वीकार कर दिए जाते हैं। यह एक अच्छा प्रतिबंध है क्योंकि Python मनमाने सिंक्रोनस काम को सुरक्षित रूप से interrupt नहीं कर सकता, जैसे वह async प्रगति को प्रबंधित कर सकता है। इस रिलीज में heartbeat-style yields भी सपोर्ट करता है: एक async नोड एक खाली अपडेट yield कर सकता है बिना सार्थक state लिखे idle clock reset करने के लिए। यह डेवलपर्स को यह कहने का तरीका देता है कि "यह टूल अभी भी जीवित है," जबकि graph का state साफ रखता है।
जब टाइमआउट fire होता है, LangGraph NodeTimeoutError raise करता है, उस attempt से किसी भी writes को clear करता है, और retry policy को handoff करता है। Writes को clear करना subtle लेकिन important part है। यदि कोई नोड किसी operation के बीच में timeout हो जाता है, तो partial writes graph के state को corrupt कर सकते हैं। Runtime को या तो एक coherent result commit करना चाहिए या attempt को failed treat करना चाहिए। फिर retries और recovery handlers decide कर सकते हैं कि आगे क्या करना है।
Node-level error handlers retries exhausted होने के बाद recovery path जोड़ते हैं। एक error_handler एक typed NodeError receive करता है जिसमें failing node का नाम और exception होता है, और यह एक Command return कर सकता है जो state update करता है और दूसरे node पर route करता है। यह Saga-style compensation patterns के लिए उपयोगी है: यदि retries के बाद payment capture fail हो जाता है, तो state को compensated पर update करें और finalize पर route करें; यदि document parsing fail हो जाता है, तो parse error record करें और fallback summarizer पर route करें; यदि कोई browser action fail हो जाता है, तो page state mark करें और screenshot audit path पर switch करें।
यहाँ runtime design explicit है। Retry transient failure handle करता है। Error handler exhausted failure handle करता है। Command state update और route selection handle करता है। Interrupts handler को bypass करते हैं, जो मायने रखता है क्योंकि एक human या system interrupt को ordinary tool failure के रूप में disguise नहीं किया जाना चाहिए। यह separation operational semantics को understandable रखता है।
DeltaChannel checkpoint overhead address करता है। Long-running threads में, message lists जैसे channels समय के साथ grow होते हैं। Delta mechanism के बिना, हर checkpoint full accumulated value को re-serialize कर सकता है। DeltaChannel प्रत्येक step पर केवल incremental delta store करता है और snapshot_frequency के माध्यम से हर configured number of steps पर एक full snapshot लिखता है। यह cost model बदलता है। Growing channels के लिए writes सस्ते हो जाते हैं, जबकि reads को next snapshot तक deltas से reconstruct करने की जरूरत पड़ सकती है। Tuning question यह है कि snapshot कितनी बार करना है ताकि replay latency bounded रहे बिना full-value checkpoint bloat में वापस जाए बिना।
यह directly agent systems के लिए relevant है क्योंकि message histories, tool traces, event lists, और observations जल्दी से grow हो सकते हैं। यदि हर checkpoint पूरी history लिखता है, तो durable execution conversation जितना लंबा चलता है उतना expensive हो जाता है। Delta-based checkpointing long threads को अधिक practical बनाता है, लेकिन इसके लिए reducers की जरूरत है जो correctly batches of writes merge कर सकें। एक bad reducer ordering खो सकता है या messages duplicate कर सकता है। Episode को explain करना चाहिए कि DeltaChannel एक storage contract है, सिर्फ एक performance flag नहीं।
Streaming API भी content blocks और typed per-channel projections की ओर बढ़ रहा है। यह matter करता है क्योंकि modern agent UIs केवल text stream नहीं करते। वे tool calls, intermediate reasoning summaries, progress events, generated artifacts, state updates, और final messages stream करते हैं। एक streaming API जो typed content per channel project कर सकता है, clients को right place में right thing render करने का एक cleaner तरीका देता है। यह internal state updates को user-visible answer text के साथ mix करने से बचने में भी मदद करता है।
Graceful shutdown same discussion में belongs। Long-running graph runtimes को बिना checkpoints corrupt किए या tools को unknown states में छोड़े रुकने की जरूरत है। Shutdown timeouts, retries, checkpoints, और streaming के साथ interact करता है। यदि एक process shutdown signal receive करती है जब एक node mid-attempt है, तो runtime decide करना चाहिए कि क्या committed है, क्या later retry है, और user को क्या surfaced है। LangGraph v1.2 alpha interesting है क्योंकि यह इन्हें first-class runtime concerns treat करता है।
Builders के लिए practical rating high है यदि वे durable workflows, multi-node agents, या UI-facing graph streams run करते हैं। Timeouts invisible hangs prevent करते हैं। Error handlers fallback explicit बनाते हैं। DeltaChannel checkpoint pressure reduce करता है। Typed streaming front-end rendering improve करता है। Tradeoff यह है कि हर new control surface को policy की जरूरत है: timeout defaults, retry limits, snapshot frequency, compensation routes, और stream visibility rules.
[39:00] STORY 3 — vLLM v0.20.1 Makes DeepSeek V4 Serving a Kernel, Communication, Cache, and Tool-Call Reliability Story vLLM v0.20.1 एक patch release है, लेकिन यह exactly वह kind of patch release है जिसे inference operators को care करना चाहिए। यह DeepSeek V4 stabilization और performance improvements पर focus है after initial support v0.20.0 में land हुआ। यह distinction matter करती है। Initial support का मतलब है model path exist करता है। Production serving का मतलब है kernels, communication paths, cache behavior, structured output, tool calls, CUDA graphs, और memory checks load के under stable हैं।
DeepSeek V4 कार्य बेस मॉडल सपोर्ट और मल्टी-स्ट्रीम प्री-अटेंशन GEMM के साथ शुरू होता है। GEMM इन्फरेंस का मैट्रिक्स-गुणन कार्यवाहक है, और प्री-अटेंशन कंप्यूटेशन बैच शेप और मॉडल आर्किटेक्चर के आधार पर बॉटलनेक बन सकता है। मल्टी-स्ट्रीम एक्जीक्यूशन उस कार्य के हिस्सों को अधिक प्रभावी ढंग से ओवरलैप या शेड्यूल करने की कोशिश करता है। vLLM एक कॉन्फ़िगर करने योग्य प्री-अटेंशन GEMM नॉब जोड़ता है और डिफ़ॉल्ट VLLM_MULTI_STREAM_GEMM_TOKEN_THRESHOLD को ट्यून करता है, जो ऑपरेटर्स को बताता है कि ऑप्टिमाइज़ेशन वर्कलोड-सेंसिटिव है। थ्रेशोल्ड मायने रखते हैं क्योंकि छोटे बैचों के लिए सही सेटिंग बड़े टोकन लोड के लिए सही नहीं हो सकती।
BF16 और MXFP8 के लिए FlashInfer वन-साइडेड कम्युनिकेशन पॉइंट्स के माध्यम से ऑल-टू-ऑल कम्युनिकेशन सपोर्ट डिस्ट्रिब्यूटेड MoE समस्या की ओर इशारा करता है। एक्सपर्ट-स्टाइल मॉडल को टोकन को डिवाइसों में रूट करने की जरूरत होती है। ऑल-टू-ऑल कम्युनिकेशन महंगा है, और लो-प्रिसिजन फॉर्मेट बैंडविड्थ और मेमोरी प्रेशर को कम करते हैं, लेकिन वे संगतता और न्यूमेरिकल चिंताएं पैदा करते हैं। BF16 और MXFP8 का समर्थन करने का मतलब है कि सर्विंग स्टैक मॉडल की प्रिसिजन और परफॉर्मेंस प्रोफाइल के साथ कम्युनिकेशन पथ को संरेखित करने की कोशिश कर रहा है।
FP32-टू-FP4 कन्वर्जन ऑप्टिमाइज़ेशन सर्विंग-लेवल का एक और विवरण है। लो-बिट इन्फरेंस मेमोरी और बैंडविड्थ बचा सकता है, लेकिन कन्वर्जन ओवरहेड इसे बहुत धीमा होने पर कुछ लाभ मिटा सकता है। FP32-टू-FP4 तेज़ कन्वर्जन के लिए एक PTX cvt निर्देश उस लागत को हार्डवेयर पथ के करीब ले जाता है। यह वह कर्नेल कार्य है जिसे उपयोगकर्ता सीधे नहीं देखते, लेकिन यह स्केल पर थ्रूपुट और विलंबता बदलता है।
ऑप्टिमाइज़्ड हेड कंप्यूटेशन के लिए इंटीग्रेटेड टाइल कर्नेल उसी पैटर्न को जारी रखते हैं। अटेंशन और हेड कंप्यूटेशन प्रोडक्शन में अमूर्त गणित नहीं हैं; वे टाइल साइज़, मेमोरी लेआउट, हार्डवेयर ऑक्यूपेंसी और सिंक्रनाइज़ेशन लागत बन जाते हैं। head_compute_mix_kernel के बारे में एक रिलीज़ नोट ऑपरेटर्स को बताता है कि मॉडल सपोर्ट Python API लेयर के नीचे ट्यून किया जा रहा है। यही जगह है जहां कई लार्ज-मॉडल सर्विंग गेन्स वास्तव में आते हैं।
बग फिक्स परफॉर्मेंस कार्य जितने ही महत्वपूर्ण हैं। vLLM TopK 1024 पर एक लगातार TopK कोऑपरेटिव डेडलॉक और RadixRowState पर एक इंटर-CTA इनिशियलाइज़ेशन रेस को ठीक करता है, वर्कअराउंड के रूप में अस्थायी पर्सिस्टेंट TopK डिसेबलिंग के साथ। डेडलॉक और इंटर-ब्लॉक रेस खतरनाक हैं क्योंकि वे केवल कुछ बैच साइज़, मॉडल पथ, या GPU शेड्यूल पर दिखाई दे सकते हैं। एक इन्फरेंस सर्वर छोटे टेस्ट में स्वस्थ दिख सकता है और फिर किसी विशेष प्रोडक्शन शेप के तहत हैंग हो सकता है। सुरक्षित ऑपरेटर रेस्पॉन्स इन फिक्स को वैकल्पिक परफॉर्मेंस पॉलिश के बजाय स्थिरता पूर्वापेक्षाओं के रूप में व्यवहार करना है।
AOT कंपाइल कैश लोडिंग, टॉर्च इंडक्टर एरर, और बार-बार RoPE कैश इनिशियलाइज़ेशन भी फिक्स पाते हैं। ये डिप्लॉयमेंट घर्षण बिंदु हैं। आगे-ऑफ-टाइम कंपाइल कैश स्टार्टअप या वार्मअप लागत कम करने के लिए हैं, लेकिन एक कैश-लोडिंग इम्पोर्ट एरर पूरी तरह से सर्विंग को ब्लॉक कर सकता है। टॉर्च कंपाइलर एरर केवल विशिष्ट ग्राफ या कर्नेल पथों के तहत ही दिखाई दे सकते हैं। बार-बार RoPE कैश इनिशियलाइज़ेशन काम की बर्बादी करता है और विलंबता स्पाइक्स पैदा कर सकता है। स्थिर इन्फरेंस इन छोटे टुकड़ों की एक श्रृंखला है जो एक साथ काम करती है।
टूल-कॉल व्यवहार को एक उल्लेखनीय मरम्मत मिलती है: DeepSeek V3.2 और V4 में नॉन-स्ट्रीमिंग टूल कॉल के लिए गायब टाइप कन्वर्जन। यह एजेंट सिस्टम के लिए मायने रखता है। एक मॉडल तेज़ हो सकता है और फिर भी एजेंटों के लिए अनुपयोगी हो सकता है यदि संरचित आउटपुट या टूल कॉल एक रेस्पॉन्स मोड में टूट जाते हैं। नॉन-स्ट्रीमिंग और स्ट्रीमिंग पथों में अक्सर अलग-अलग पार्सर और कन्वर्जन पॉइंट होते हैं। ऑपरेटर्स को दोनों को काम करने की जरूरत है यदि वे बैच इवैल्यूएशन, सिंक्रोनस API कॉल और स्ट्रीमिंग चैट का समर्थन करते हैं।
जनरल vLLM फिक्स उसी प्रोडक्शन थीम को मजबूत करते हैं। max_num_batched_token CUDA ग्राफ स्टेट में कैप्चर किया गया है। num_gpu_blocks_override मैक्स-मॉडल-लेंथ चेक्स में शामिल किया गया है। cumem मेमोरी पूल के आसपास एक्सपैंडेबल सेगमेंट्स ऑटो-डिसेबल हैं। रीजनिंग पार्सर kwargs स्ट्रक्चर्ड आउटपुट में पास किए जाते हैं। Quark W4A8 GPT-OSS के लिए ROCm पथ को आर्ग्युमेंट फिक्स मिलते हैं। ये हेडलाइन फीचर्स नहीं हैं, लेकिन वे कॉन्फ़िगरेशन, ग्राफ कैप्चर, मेमोरी एलोकेशन, पार्सर व्यवहार और हार्डवेयर बैकएंड के बीच मिसमैच को रोकते हैं।
व्यापक पाठ यह है कि एक नए फ्रंटियर या ओपन-वेट मॉडल की सर्विंग एक फीचर नहीं है। यह एक स्टैक है: मॉडल कॉन्फ़िग, टोकनाइज़र व्यवहार, अटेंशन बैकएंड, MoE रूटिंग, कम्युनिकेशन प्रिसिजन, क्वांटाइज़ेशन, कंपाइल कैश, CUDA ग्राफ कैप्चर, मेमोरी पूल पॉलिसी, स्ट्रक्चर्ड आउटपुट पार्सर, टूल-कॉल कन्वर्टर और हार्डवेयर-स्पेसिफिक बैकएंड। vLLM v0.20.1 मूल्यवान है क्योंकि यह दिखाता है कि स्टेबिलाइज़ेशन कार्य खुले तौर पर किया जाता है। बिल्डर्स को इन पैच रिलीज़ेस को एक मैप के रूप में पढ़ना चाहिए कि उनकी स्वयं की इन्फरेंस डिप्लॉयमेंट कहां विफल हो सकती हैं।
[49:00] समापन व्यावहारिक निष्कर्ष यह है कि एजेंट इन्फ्रास्ट्रक्चर अब ज्यादातर रनटाइम कॉन्ट्रैक्ट्स के बारे में है। OpenClaw v2026.5.4 से v2026.5.6 तक रियलटाइम वॉइस क्यूज़, प्लगइन और सीक्रेट मेटाडेटा, स्टार्टअप एट्रिब्यूशन, प्रोग्रेस डिस्प्ले और डायग्नोस्टिक्स को टाइट करता है। LangGraph v1.2 अल्फा ग्राफ बिल्डर्स को क्लियरर टाइमआउट, रिकवरी, चेकपॉइंट और स्ट्रीमिंग कॉन्ट्रैक्ट देता है। vLLM v0.20.1 दिखाता है कि मॉडल सपोर्ट और रिलायबल सर्विंग के बीच कितना कर्नेल, कम्युनिकेशन, कैश और टूल-कॉल कार्य बैठता है। हर कहानी के लिए ऑपरेटर प्रश्न एक ही है: कहां काम हैंग हो सकता है, कहां स्टेट करप्ट हो सकता है, कहां सीक्रेट्स या क्रेडेंशियल गायब हो सकते हैं, और जब कुछ धीमा हो जाता है या विफल होता है तो सिस्टम क्या दिखाता है?
[NOVA]: मैं NOVA हूं, और यह OpenClaw Daily है। आज OpenClaw v2026.5.4 के साथ शुरू होता है। इसमें OpenClaw v2026.5.5 और OpenClaw v2026.5.6 भी शामिल हैं। जो महत्वपूर्ण बदलाव है वह कोई स्लोगन नहीं है। यह realtime voice, Codex OAuth routing, Discord और Telegram progress, channel session routing, guarded fetch timeouts, model auth inspection, SecretRef resolution, और Gateway diagnostics के आसपास operator fixes का एक सेट है। अगर कोई agent chat, meetings, voice calls, browser tools, और long-running jobs में रहने वाला है, तो ये वो surfaces हैं जो तय करते हैं कि वह dependable लगता है या नहीं। ...
[ALLOY]: मैं ALLOY हूं। release sequence के तीन layers हैं। पहला release voice और extension-contract pieces को more operable बनाता है। दूसरा channel behaviour, progress drafts, Control UI sessions, xAI reasoning controls, approval delivery, media completion handling, और Gateway status को tighten करता है। latest hotfix सबसे तेज regression को fix करता है: valid openai-codex slash GPT-5.5 OAuth routes doctor repair द्वारा openai slash GPT-5.5 API-key routes में बदल सकते थे, जो कि OAuth-only Codex setup के लिए बिल्कुल गलत move है। ...
[NOVA]: recovery path जानबूझकर concrete है। अगर default model direct OpenAI route पर चला गया था, तो इसे वापस openai-codex slash gpt-5.5 पर switch करें, config validate करें, और confirm करें कि auth profile Codex OAuth profile है, न कि missing OPENAI_API_KEY dependency। यह distinction important है क्योंकि model name लगभग identical दिख सकती है जबकि credential path बिल्कुल अलग है: एक ChatGPT या Codex OAuth use करता है, दूसरा Gateway पर raw OpenAI API key expect करता है। ...
[ALLOY]: वह एक fix बहुत सारे real breakage की explains। एक Gateway authenticated हो सकता है, user के पास valid Codex OAuth session हो सकता है, और agent फिर भी fail हो सकता है अगर configuration API-key provider family को point करती है। useful diagnostic सिर्फ यह नहीं है कि GPT-5.5 exists है या नहीं। यह है कि route किस provider namespace के पास है, और उस namespace के लिए कौन सी auth profile resolves होती है। hotfix इसे confusing missing-key loop से specific recovery action में बदल देता है। ...
[NOVA]: big capability change से शुरू करते हैं। एक agent Google Meet में Twilio dial-in path के through join कर सकता है और conventional phone prompt में fallback करने के बजाय realtime Gemini voice bridge के through speak कर सकता है। इसका मतलब है कि phone leg, meeting room, model audio stream, और runtime queue को अब एक low-latency system की तरह behave करना होगा। ...
[ALLOY]: यह operator version है। इसे set up करने के लिए, voice-call या Meet path enable करें, dial-in leg के लिए Twilio media websocket route configure करें, agent profile में एक realtime-capable Gemini model और voice choose करें, और Meet join workflow को उस voice backend पर point करें। release important है क्योंकि provider voice और model overrides अब telephony synthesis में honoured हैं, इसलिए speech logs उस backend से match करनी चाहिए जिसने actually audio produce किया। ...
[ALLOY]: पहली new capability एक real phone-to-meeting voice agent है। पहले, dial-in bridge demoable लेकिन brittle हो सकता था: generated audio websocket से outrun हो सकता था, barge-in stale speech queue में waiting छोड़ सकता था, और fallback speech realtime path के realtime होना बंद करने के fact को hide कर सकता था। अब paced audio stream में bounded buffering, overload closure, और interruption clearing है। ...
[NOVA]: bounded buffering core technical change है। realtime voice के तीन clocks हैं: incoming human speech, generated model audio, और transport की frames भेजने की ability। अगर generated audio websocket से transmit करने से faster आता है, तो runtime को buffer करना होगा। अगर वह buffer unbounded है, तो user conversation के आगे बढ़ने के बाद भी old answers सुनता है। यह release stale provider audio indefinitely accumulate होने से पहले overloaded realtime streams को close करता है। ...
[ALLOY]: barge-in दूसरी capability है। एक participant agent को interrupt कर सकता है, और runtime generated audio को सिर्फ pause करने के बजाय clear करता है। यह important है क्योंकि interruption एक state boundary है। एक बार user interrupt कर देता है, old answer अब valid नहीं है। transport के behind अभी भी queued कोई audio old turn का है, इसलिए इसे clear करना correctness का हिस्सा है, सिर्फ user experience polish नहीं। ...
[NOVA]: तीसरी capability realtime path पर honest failure है। conventional TwiML prompts ordinary telephony flows में useful हैं, लेकिन realtime model bridge के substitute नहीं हैं। अगर live model call silently TwiML पर fallback करता है, तो operators सोच सकते हैं कि realtime system healthy है जबकि user delayed या mismatched speech सुन रहा है। release realtime speech को realtime bridge पर रखता है ताकि failures visible और diagnosable हों। ...
[ALLOY]: व्यावहारिक परीक्षण सीधा है। एक Meet डायल-इन सत्र चलाएं, एजेंट के जवाब देते समय उसके ऊपर बोलें, और जांचें कि रुकावट के बाद पुराना जवाब जारी न रहे। फिर जानबूझकर धीमी भेज की स्थितियां या बर्स्टी प्रोवाइडर रेस्पॉन्स बनाएं और पुष्टि करें कि स्ट्रीम बड़े विलंबित स्पीच बैकलॉग के बजाय दृश्य रूप से विफल होती है। एक वॉयस एजेंट जो इन परीक्षणों को पास नहीं कर सकता, प्रोडक्शन में भुतहा महसूस होगा। ...
[NOVA]: अगला सुधार क्रेडेंशियल और चैनल सेटअप विश्वसनीयता है। SecretRef कॉन्ट्रैक्ट रेज़ोल्यूशन अब उन एक्सटर्नल चैनल एक्सटेंशन पैकेजों के लिए काम करता है जिनकी कंपाइल्ड आर्टिफैक्ट्स डिस्ट्रिब्यूशन फोल्डर के तहत रहती हैं। इस फिक्स से पहले, एक चैनल एनवायरनमेंट-बैक्ड Discord टोकन रेफरेंस के साथ कॉन्फ़िगर किया जा सकता था और फिर भी Gateway स्टार्ट पर अनकॉन्फ़िगर्ड दिखता था क्योंकि रनटाइम को कंपाइल्ड लोकेशन में पैकेज का सीक्रेट-कॉन्ट्रैक्ट साइडकार नहीं मिला। ...
[ALLOY]: इसका मतलब यह है कि आपके एजेंट के लिए एक्सटर्नल चैनल पैकेज इंस्टॉल किए जा सकते हैं और फिर भी अपने सीक्रेट्स रेज़ोल्व करने के लिए ज़रूरी मेटाडेटा दे सकते हैं। सेटअप पैटर्न है: चैनल एक्सटेंशन इंस्टॉल करें, क्रेडेंशियल्स को प्लेनटेक्स्ट के बजाय SecretRef एंट्रीज़ के रूप में रखें, Gateway शुरू करें, और रनटाइम को कंपाइल्ड कॉन्ट्रैक्ट मेटाडेटा को अपने स्नैपशॉट में लोड करने दें। अगर कॉन्ट्रैक्ट मौजूद है, तो चैनल को टोकन एक्सपोज़ किए बिना वैलिडेट करना चाहिए। ...
[NOVA]: Secrets apply auth-profile keyRef और tokenRef फील्ड्स को प्रेज़र्व करता है जबकि प्रोवाइडर-टारगेट सीक्रेट मैटेरियल को स्क्रब करता है। यह ऑपरेटर्स को एक सुरक्षित रिपेयर लूप देता है। आप कॉन्फ़िग से प्लेनटेक्स्ट हटा सकते हैं जबकि रेफरेंस ग्राफ को रखते हैं जो बताता है कि क्रेडेंशियल कहांbelongs है। उसके बिना, एक क्लीनअप स्टेप गलती से सिक्योर कॉन्फ़िगरेशन को अनउज़ेबल बना सकता है। ...
[ALLOY]: दिखाई देने वाली नई क्षमता सुरक्षित क्रेडेंशियल इंस्पेक्शन है। model-auth list कमांड सेव किए गए प्रति-प्रोवाइडर या प्रति-एजेंट auth प्रोफाइल्स दिखा सकता है, प्रोवाइडर फ़िल्टरिंग और JSON आउटपुट के साथ, बिना सीक्रेट वैल्यूज़ प्रिंट किए। यह बिल्कुल वही है जो आप चाहते हैं जब एक एजेंट कई मॉडल प्रोवाइडर्स को कॉल कर सकता है। आपको यह जानना होगा कि कौन सा प्रोफाइल मौजूद है, कौन सा एजेंट स्कोप इसका उपयोग करता है, और रनटाइम इसे देखता है या नहीं, लेकिन आप नहीं चाहते कि टोकन टर्मिनल या चैट लॉग में डंप हों। ...
[NOVA]: सेटअप ऑपरेशनल है ग्लैमरस नहीं। auth-profile मैकेनिज़्म के ज़रिए प्रोवाइडर क्रेडेंशियल्स स्टोर करें, उन्हें key से रेफरेंस करें, फिर auth लिस्टिंग सर्फेस का उपयोग करके प्रेज़ेंस और स्कोप वेरिफाई करें। अगर कोई मॉडल कॉल फेल होती है, तो पहले जांचें कि इच्छित प्रोफाइल मौजूद है या नहीं और एजेंट उस प्रोफाइल का उपयोग कर रहा है या नहीं। यह रॉ कॉन्फ़िग फाइल्स खोलने या टेस्ट कॉल्स ट्रिगर करने से ज़्यादा तेज़ और सुरक्षित है जो कॉस्ट और नॉइज़ लीक कर सकती हैं। ...
[ALLOY]: v2026.5.5 एक्सटेंशन इंस्टॉलेशन से पहले चैनल स्टोरी को एक्सटेंड करता है। Discord heartbeat ACK टाइमआउट्स एक्चुअल heartbeat send से मापे जाते हैं, जो चैनल के अभी भी readiness का इंतज़ार करते हुए देर से शुरुआती heartbeats को गलत रीकनेेक्ट फेलियर्स के रूप में बर्ताव करने से रोकता है। Discord प्लेन टेक्स्ट कंट्रोल कमांड्स जैसे slash steer अब सामान्य authorization और mention gate से गुज़रते हैं उनके बजाय कि एजेंट सेशन उन्हें देखने से पहले चुपचाप ड्रॉप हों। Telegram और Codex प्रोग्रेस ड्राफ्ट्स भी नेटिव टूल प्रोग्रेस को डुप्लिकेट करना बंद कर देते हैं, इसलिए मैसेज-टूल-ओनली स्टेटस दिखाई देता रहता है बिना हर टूल को दो बार दिखाए। ...
[NOVA]: वही रिलीज़ कुछ अन्य ऑपरेटर पाथ्स को टाइट करती है। Matrix approvals ट्रांज़िएंट सेंड फेलियर्स को रीट्राई करती है स्ट्रैंडिंग की जगह pending approval prompt। Slack रीकनेेक्ट लॉग स्ट्रक्चर्ड SDK और API कॉन्टेक्स्ट को प्रेज़र्व करते हैं अननोन एरर में कॉलैप्स करने के बजाय। Control UI चैट और चैनल टैब्स को रिस्पॉन्सिव रखता है जब हिस्ट्री पेलोड्स या चैनल प्रोब्स धीमे हों, पार्शियल चैनल स्टेटस को लेबल करता है, और स्लो रेंडर टाइमिंग को इवेंट लॉग में रिकॉर्ड करता है। ये डेकोरेटिव बदलाव नहीं हैं। वे रिमोट एजेंट कंट्रोल को सिस्टम के लोड में होने पर डीबग करना आसान बनाते हैं। ...
[ALLOY]: v2026.5.6 उसके ऊपर fetch-path क्लीनअप जोड़ता है। प्लगइन रनटाइम fetch प्लेन रिक्वेस्ट हेडर्स से थर्ड-पार्टी सिंबल मेटाडेटा ड्रॉप करता है उन्हें नेटिव fetch या Headers में पास करने से पहले, और डीबग प्रॉक्सी रेप्ले से पहले कैप्चर्ड हेडर डिक्शनरीज़ को नॉर्मलाइज़ करता है। गार्डेड वेब fetch रिक्वेस्ट टाइमआउट के बाद dispatcher क्लीनअप को बाउंड करता है, ताकि टाइम-आउट हुए fetches टूल एरर्स रिटर्न करें गेटवे टूल लेन्स एक्टिव छोड़ने के बजाय। एक एजेंट के लिए जो ब्राउज़ करता है, प्लगइन्स को कॉल करता है, और रिक्वेस्ट्स को प्रॉक्सी करता है, यह साफ टूल फेलियर और लेन के बीच का अंतर है जो ज़िंदा दिखता है जबकि कुछ उपयोगी नहीं हो रहा। ...
[NOVA]: एक्सटेंशन इंस्टॉलेशन भी कम फ्रैजाइल हो जाता है। जब कॉन्फ़िगरेशन एक आधिकारिक एक्सटर्नल एक्सटेंशन को रेफरेंस करता है जो इंस्टॉल नहीं है, रनटाइम ऑपरेटर को वैलिड कॉन्फ़िगरेशन डिलीट करने के बजाय कैटलॉग-बैक्ड इंस्टॉल हिंट्स एमिट कर सकता है। यह अपग्रेड बिहेवियर बदलता है। एक गायब पैकेज को इंस्टॉलेशन प्रॉब्लम के रूप में माना जाता है, यह प्रूफ नहीं कि कॉन्फ़िग जंक है। ...
[NOVA]: वहाँ एक सेटअप लेसन भी है। आधिकारिक चैनल और टूल एक्सटेंशन्स को रनटाइम कॉन्फ़िगरेशन में घोषित रखें, फिर अपग्रेड या माइग्रेशन के बाद मिसिंग इंस्टॉल स्टेप को गाइड करने के लिए कैटलॉग-बैक्ड हिंट्स का उपयोग करें। पुराना फेलियर मोड भ्रमित करने वाला था: एजेंट के पास सही रूट और सही सिक्रेट रेफरेंस हो सकता था, लेकिन एक मिसिंग पैकेज पूरी सतह को अमान्य दिखाता था। नया पाथ आपको बताता है कि क्या इंस्टॉल करना है। ...
[ALLOY]: वर्कस्पेस-स्कोप्ड मेटाडेटा स्नैपशॉट कई ऑपरेटर सतहों के पीछे परफॉर्मेंस इम्प्रूवमेंट है। कंपैक्शन, एम्बेडेड-रन मॉडल जनरेशन, PDF मॉडल सेटअप, मॉडल कैटलॉग रीडर्स, और मैनिफेस्ट-कॉन्ट्रैक्ट रीडर्स वर्तमान वर्कस्पेस-कम्पैटिबल मेटाडेटा स्नैपशॉट को फोर्सिंग कोल्ड स्कैन्स की जगह फिर से उपयोग कर सकते हैं। वादा अंधे caching नहीं है। स्नैपशॉट का उपयोग तब किया जाता है जब एनवायरनमेंट, कॉन्फ़िग, और वर्कस्पेस कम्पैटिबिलिटी चेक्स कहते हैं कि यह सुरक्षित है। ...
[NOVA]: जो आसान हो जाता है वह मैन्यी optional सतहों वाले एजेंट्स को चलाना है: चैट चैनल्स, मीडिया टूल्स, ब्राउज़र कंट्रोल, मेमोरी, मॉडल प्रोवाइडर्स, cron, और एक्सटर्नल पैकेज। रनटाइम को हर hot पाथ पर हर मैनिफेस्ट और कॉन्ट्रैक्ट को फिर से डिस्कवर नहीं करना चाहिए। इस रिलीज के बाद, उन पथों में से अधिक एक वैलिडेटेड स्नैपशॉट का पुन: उपयोग कर सकते हैं, जिससे स्टार्टअप और कंट्रोल-प्लेन लेटेंसी कम होती है जबकि अभी भी कम्पैटिबिलिटी बदलने पर डिस्कवरी पर वापस आते हैं। ...
[ALLOY]: एक्टिव मेमोरी को एक छोटा लेकिन महत्वपूर्ण गार्ड मिलता है। सेशन-स्टोर चैनल एंट्रीज़ जिनमें कोलन है, उन्हें recall सबएजेंट के चैनल को रेज़ोल्व करते समय स्किप किया जाता है, ताकि स्कोप्ड कन्वर्सेशन आइडेंटिफायर्स को बंडल्ड एक्सटेंशन डायरेक्टरी नेम्स के रूप में गलत न पढ़ा जाए। यह मायने रखता है क्योंकि चैट सिस्टम अक्सर आइडेंटिफायर्स के अंदर स्कोप एन्कोड करते हैं। एक आइडेंटिफायर एक कन्वर्सेशन के लिए वैध हो सकती है और एक पैकेज डायरेक्टरी के लिए एक ही समय में अमान्य हो सकती है। ...
[NOVA]: व्यावहारिक परिणाम स्कोप्ड चैनल्स में कम recall क्रैश है। अगर आपके एजेंट चैट कॉन्टेक्स्ट्स में मेमोरी का उपयोग करता है, तो रनटाइम के पास अब कन्वर्सेशन आइडेंटिटी और एक्सटेंशन-पैकेज आइडेंटिटी के बीच एक बेहतर बाउंड्री है। यह मेमोरी recall को उन मल्टी-चैनल डिप्लॉयमेंट्स में सुरक्षित बनाता है जहाँ आइडी सरल फोल्डर-जैसे नाम नहीं हैं। ...
[ALLOY]: प्रोग्रेस रिपोर्टिंग अगला प्रमुख ऑपरेटर इम्प्रूवमेंट है। Slack स्ट्रक्चर्ड प्रोग्रेस-लाइन डेटा से अधिक रिच प्रोग्रेस ड्राफ्ट्स रेंडर कर सकता है, Block Kit लिमिट्स जब ट्रिमिंग फोर्स करती हैं तब न्यूएस्ट रिच प्रोग्रेस लाइन्स को रख सकता है, और लंबी टूल लाइन्स को कैप कर सकता है ताकि ड्राफ्ट हर अपडेट पर नहीं उछले। कॉम्पैक्ट एक्सप्लेन-मोड सारांश भी वर्बोज़ और प्रोग्रेस व्यूज़ के लिए डिफ़ॉल्ट हैं, जब आप स्पष्ट रूप से पूछते हैं तब रॉ डिटेल उपलब्ध होता है। ...
[NOVA]: यह बदलता है कि आप चैट में एजेंट से क्या करने को कह सकते हैं। आप लंबा काम शुरू कर सकते हैं और उम्मीद कर सकते हैं कि प्रोग्रेस सतह न्यूएस्ट उपयोगी स्टेटस को प्रेज़र्व करेगी बजाय wrapped लॉग्स की दीवार बनने के। सेटअप के लिए, नॉर्मल चैनल्स के लिए डिफ़ॉल्ट कॉम्पैक्ट प्रोग्रेस मोड चुनें, फिर एजेंट्स को डीबग करने या स्पेशलिस्ट सेशन के लिए टूल-प्रोग्रेस डिटेल बढ़ाएँ। चैट सतह को स्टेट दिखाना चाहिए, टूल आउटपुट के हर बाइट नहीं। ...
[ALLOY]: सबएजेंट रिज़ल्ट प्रिज़र्वेशन भी सुधरता है। जब डायरेक्ट कम्प्लीशन फॉलबैक सामान्य रिक्वेस्टर-एजेंट अनाउंसमेंट टर्न को बाइपास करता है, तब भी हर ग्रुप्ड चाइल्ड रिज़ल्ट प्रिज़र्व किया जाता है। सादे भाषा में: अगर आप कई चाइल्ड एजेंट्स को काम सौंपते हैं और रनटाइम एक फॉलबैक कम्प्लीशन पाथ का उपयोग करता है, तो चाइल्ड आउटपुट्स अनाउंसमेंट रूट बदलने की वजह से गायब नहीं होने चाहिए। ...
[NOVA]: यह अधिक विश्वसनीय डेलीगेशन को अनलॉक करता है। एक पैरेंट एजेंट चाइल्ड्स में रिसर्च, टेस्टिंग, या इम्प्लीमेंटेशन काम बाँट सकता है और अभी भी ग्रुप्ड रिज़ल्ट्स प्राप्त कर सकता है भले ही सामान्य अनाउंस टर्न स्किप किया गया हो। ऑपरेटर को इसकी जुडगMENT फाइनल रिज़ल्ट बंडल से करनी चाहिए: क्या हर चाइल्ड ने रिपोर्ट सर्वाइव किया, और क्या रिक्वेस्टर एजेंट अभी भी उन सभी से सिंथेसाइज़ कर सकता है? ...
[ALLOY]: स्टार्टअप डायग्नोस्टिक्स अधिक स्पष्ट हैं। Gateway स्टार्टअप अब फेज स्पैन, एक्टिव वर्क लेबल्स, स्टेल टर्मिनल ब्रिज मार्कर्स, और watch मोड में डिफ़ॉल्ट sync-I/O ट्रेसिंग रिकॉर्ड करता है। यह ready सिग्नल के बाद तक non-readiness साइडकॉर्स को डिफर भी करता है, hot-पाथ चैनल-पैकेज बैरल इम्पोर्ट्स से बचता है, ट्रस्टेड बंडल्ड मेटाडेटा को फास्ट-पाथ करता है, और native लोडिंग काफी होने पर सोर्स-ट्रांसफॉर्म पाथ को लोड करने से बचता है। ...
[NOVA]: तुरंत क्षमता निदान है। अगर स्टार्टअप धीमा है, तो आप उस चरण को खोज सकते हैं जो समय का मालिक है: मेटाडेटा डिस्कवरी, चैनल सेटअप, साइडकार लोडिंग, रेडीनेस वर्क, या स्टेल ब्रिज। बिना फेज स्पैन के, स्टार्टअप शिकायतें अनुमान-लगाने में बदल जाती हैं। स्पैन के साथ, आपके पास यह नक्शा होता है कि कहां ऑप्टिमाइज करना है या बग कहां फाइल करना है। ...
[ALLOY]: Windows को भी एक ठोस Gateway फिक्स मिलता है। डिफ़ॉल्ट लूपबैक लिसनर Windows पर 127.0.0.1 से बाइंड होता है ताकि IPv6 लूपबैक के आसपास डुअल-स्टैक localhost व्यवहार स्थानीय HTTP रिक्वेस्ट को न वेज करे। यह मायने रखता है क्योंकि स्थानीय एजेंट कंट्रोल अक्सर ब्राउज़र, Gateway, और कमांड-लाइन टूल्स पर निर्भर करता है जो लूपबैक रूट पर सहमत हों। ...
[NOVA]: सेटअप गाइड सरल है: Windows पर, डिफ़ॉल्ट लोकल Gateway बाइंडिंग का उपयोग करें जब तक कि आपके पास दूसरे इंटरफेस को एक्सपोज करने का कोई स्पष्ट कारण न हो। अगर लोकल HTTP कॉल फेल हो रहे थे क्योंकि क्लाइंट IPv4 और IPv6 लूपबैक पर असहमत थे, तो यह रिलीज़ स्पष्ट ट्रैप में से एक को हटा देती है। ...
[ALLOY]: एक साथ मिलाकर, बेहतर रनटाइम एजेंट को सात व्यावहारिक अपग्रेड देता है। यह बाउंडेड रियलटाइम ऑडियो व्यवहार के साथ लाइव Meet डायल-इन में बोल सकता है। यह Codex OAuth GPT-5.5 को API-की प्रोवाइडर के बजाय Codex प्रोवाइडर के माध्यम से रूट कर सकता है। यह बिना उनके सीक्रेट कॉन्ट्रैक्ट खोए बाहरी चैनल पैकेज का उपयोग कर सकता है। यह सीक्रेट लीक किए बिना मॉडल ऑथ प्रोफाइल का निरीक्षण कर सकता है। यह लंबे काम के दौरान कॉम्पैक्ट, स्ट्रक्चर्ड प्रोग्रेस दिखा सकता है। यह गार्डेड फेच से क्लीन टाइमआउट एरर रिटर्न कर सकता है। और यह फोकलोर के बजाय फेज-लेवल एविडेंस के साथ धीमे स्टार्टअप की व्याख्या कर सकता है। ...
[NOVA]: सेटअप सीक्वेंस जो मैं उपयोग करूंगा वो जानबूझकर बोरिंग है। पहले, रनटाइम अपग्रेड करें और Gateway रीस्टार्ट करें ताकि रेडीनेस पथ और स्टार्टअप स्पैन नए बिल्ड से हों। दूसरे, किसी भी महंगे मॉडल कॉल को चलाने से पहले ऑथ लिस्टिंग सरफेस के साथ मॉडल ऑथेंटिकेशन वेरीफाई करें। तीसरे, वेरीफाई करें कि चैनल एक्सटेंशन पैकेज इंस्टॉल है और इसका SecretRef कॉन्ट्रैक्ट Gateway स्टार्ट पर विजिबल है। चौथे, एक छोटी चैट जॉब शुरू करें और कॉम्पैक्ट प्रोग्रेस का निरीक्षण करें। पांचवे, तभी रियलटाइम Meet डायल-इन पथ टेस्ट करें। ...
[ALLOY]: Meet पथ के लिए, टेस्ट को मैकेनिकल रखें। वॉयस-कॉल रूट के माध्यम से मीटिंग जॉइन शुरू करें, कन्फर्म करें कि चुना गया रियलटाइम मॉडल और वॉयस स्पीच लॉग में दिख रहे हैं, एजेंट के जवाब देते समय बोलें, और तुरंत स्टॉप व्यवहार सुनें। फिर एक लंबा जवाब चलाएं और देरी वाले स्पीच के लिए देखें। अगर कतार ओवरलोड है, तो सही व्यवहार विजिबल स्ट्रीम क्लोज है, पुराने टर्न से दो-मिनट का घोस्ट मोनोलॉग नहीं। ...
[NOVA]: SecretRefs के लिए, सक्सेस कंडीशन भी मैकेनिकल है। एक चैनल क्रेडेंशियल को कॉन्फिग में पेस्ट करने के बजाय की द्वारा रेफरेंस्ड रहना चाहिए। एप्लाई या स्क्रब पथ को keyRef और tokenRef मेटाडेटा को प्रीजर्व करते हुए सीक्रेट मैटेरियल को रिमूव करना चाहिए। Gateway स्टार्टअप को चैनल पैकेज के कंपाइल्ड कॉन्ट्रैक्ट मेटाडेटा को रिज़ॉल्व करना चाहिए और चैनल को कॉन्फिगर्ड के रूप में मार्क करना चाहिए। अगर ये में से कोई भी स्टेप फेल होता है, तो अब आपके पास देखने के लिए एक संकरी जगह है। ...
[ALLOY]: प्रोग्रेस के लिए, चैट ड्राफ्ट को बहुत छोटे बजट के साथ एक ऑपरेटर डैशबोर्ड की तरह ट्रीट करें। इसमें करंट फेज, सबसे हालिया यूज़फुल टूल लाइन, और यह बताना चाहिए कि काम अभी भी जिंदा है या नहीं। इसमें हर रॉ लॉग लाइन को चैनल में पेस्ट नहीं करना चाहिए। जब आपको रॉ आउटपुट चाहिए, तो हर नॉर्मल यूज़र-फेसिंग वर्कफ्लो के लिए नहीं, बल्कि डीबगिंग एजेंट या सेशन के लिए टूल-प्रोग्रेस डिटेल बढ़ाएं। ...
[NOVA]: डेलिगेशन के लिए, दो-तीन चाइल्ड एजेंट्स के साथ टेस्ट करें और सुनिश्चित करें कि ग्रुप्ड रिज़ल्ट्स सर्वाइव करते हैं भले ही डायरेक्ट कम्प्लीशन फॉलबैक पथ का उपयोग किया जाए। एक मल्टी-एजेंट सिस्टम तभी यूज़फुल है जब पैरेंट पर भरोसा कर सकता है कि चाइल्ड आउटपुट रूटिंग चेंजेस में प्रिज़र्व्ड रहें। अन्यथा, डेलिगेशन चुपचाप सैंपलिंग बन जाता है: शायद पैरेंट ने सारा काम देखा, शायद नहीं। ...
[ALLOY]: स्टार्टअप के लिए, ऑपरेटर्स पहले क्या करते थे और अब क्या कर सकते हैं इसकी तुलना करें। पुराना लूप था रीस्टार्ट, वेट, गेस, लॉग खोलें, फिर से गेस। नया लूप होना चाहिए रीस्टार्ट, फेज स्पैन इंस्पेक्ट करें, पहचानें कि क्या समय डिस्कवरी, चैनल सेटअप, साइडकार्स, रेडीनेस, या टर्मिनल ब्रिज स्टेट का है, फिर ओनिंग फेज को फिक्स करें। यह एक असली सुधार है क्योंकि यह अस्पष्ट स्लो-स्टार्ट शिकायत को टारगेटेड बग रिपोर्ट या कॉन्फिग चेंज में बदल देता है। ...
[NOVA]: जाँच सूची भी उतनी ही ठोस है। वॉइस के लिए, बाधा डालने और ओवरलोडेड ऑडियो सेंड्स की जाँच करें। क्रेडेंशियल्स के लिए, SecretRef-बैक्ड चैनलों के साथ Gateway शुरू करें और सत्यापित करें कि वे प्लेन्टेक्स्ट के बिना कॉन्फ़िगर होते हैं। मेटाडेटा के लिए, वर्कस्पेस स्नैपशॉट के गर्म होने के बाद हॉट-पैथ लेटेंसी की तुलना करें। प्रगति के लिए, Slack में एक लंबा टूल जॉब चलाएँ और पुष्टि करें कि नवीनतम स्थिति ट्रिमिंग के बाद भी बनी रहती है। स्टार्टअप के लिए, अनुमान लगाने से पहले चरण स्पैन का निरीक्षण करें। ...
[ALLOY]: यह रिलीज वर्डिक्ट है: यह एक ऑपरेशंस रिलीज है। यह जादू बेचने की कोशिश नहीं कर रहा। यह रियलटाइम स्पीच, सीक्रेट्स, एक्सटर्नल पैकेजेस, मॉडल ऑथ, प्रगति, डेलिगेशन और स्टार्टअप को संचालित करना आसान बनाता है, सेटअप पाथ्स और फेलियर चेक्स के साथ जिन्हें ऑपरेटर वास्तव में दोहरा सकते हैं। अब हम बाहरी कहानियों में जा सकते हैं: पहले ग्राफ रनटाइम कंट्रोल, फिर इन्फरेंस सर्विंग स्टेबिलाइजेशन। ...
[NOVA]: LangGraph v1.2 Alpha लंबे समय चलने वाले एजेंट ग्राफ्स को टाइमआउट, रिकवरी, चेकपॉइंट और स्ट्रीमिंग समस्याओं में बदल देता है LangGraph v1.2 अल्फा एक वर्कफ़्लो-रनटाइम रिलीज है। महत्वपूर्ण बात यह नहीं है कि ग्राफ्स मॉडल्स को कॉल कर सकते हैं; यह है कि लंबे समय चलने वाले ग्राफ्स को एक्जीक्यूशन लिमिट्स, रिकवरी पाथ्स, चेकपॉइंट एफिशिएंसी और स्ट्रीमिंग प्रोजेक्शन की जरूरत है। जब किसी एजेंट वर्कफ़्लो में कई नोड्स, धीमे टूल्स, एक्सटर्नल APIs, रिट्राइज़, ह्यूमन इंटरप्ट्स और लंबा मैसेज हिस्ट्री होती है, तो रनटाइम को एक लूप और स्टेट ऑब्जेक्ट से ज्यादा की जरूरत होती है। ...
[ALLOY]: पर-नोड टाइमआउट सबसे स्पष्ट उदाहरण हैं। LangGraph add_node पर timeout= जोड़ता है, TimeoutPolicy के साथ जो run_timeout, idle_timeout या दोनों सेट कर सकता है। एक हार्ड रन टाइमआउट प्रोग्रेस की परवाह किए बिना वॉल-क्लॉक लिमिट के बाद अबॉर्ट करता है। एक आइडल टाइमआउट रीसेट होता है जब प्रोग्रेस यील्ड होती है और अबॉर्ट करता है जब कोई स्ट्रीमिंग नोड आउटपुट प्रोड्यूस करना बंद कर देता है। एजेंट टूल्स के लिए यह अंतर मायने रखता है। एक मॉडल कॉल, ब्राउज़र रन या एक्सटर्नल API स्ट्रीम को वैध रूप से समय लग सकता है, लेकिन एक साइलेंट हैंग को ग्राफ को हमेशा के लिए नहीं रोकना चाहिए। ...
[NOVA]: टाइमआउट केवल async नोड्स पर लागू होते हैं, और टाइमआउट के साथ sync नोड्स कंपाइल टाइम पर रिजेक्ट होते हैं। यह एक अच्छा कंस्ट्रेंट है क्योंकि Python arbitrary सिंक्रोनस वर्क को उसी तरह सुरक्षित रूप से इंटरप्ट नहीं कर सकता जैसे वह async प्रोग्रेस को मैनेज कर सकता है। रिलीज हार्टबीट-स्टाइल यील्ड्स को भी सपोर्ट करती है: एक async नोड ग्राफ की स्टेट को साफ रखते हुए आइडल क्लॉक को रीसेट करने के लिए एक खाली अपडेट यील्ड कर सकता है। यह डेवलपर्स को यह कहने का तरीका देता है, "यह टूल अभी भी जीवित है।" ...
[ALLOY]: जब टाइमआउट फायर होता है, LangGraph NodeTimeoutError रेज़ करता है, उस अटेम्प्ट से किसी भी राइट्स को क्लियर करता है, और रिट्राइ पॉलिसी को सौंपता है। राइट्स को क्लियर करना सबटल लेकिन महत्वपूर्ण हिस्सा है। अगर कोई नोड किसी ऑपरेशन के बीच में टाइमआउट हो जाता है, तो पार्शियल राइट्स ग्राफ की स्टेट को करप्ट कर सकते हैं। रनटाइम को या तो एक कोहेरेंट रिजल्ट कमिट करना चाहिए या अटेम्प्ट को फेल्ड मानना चाहिए। फिर रिट्राइज़ और रिकवरी हैंडलर्स तय कर सकते हैं कि आगे क्या करना है। ...
[NOVA]: नोड-लेवल एरर हैंडलर्स रिट्राइज़ exhaust होने के बाद रिकवरी पाथ जोड़ते हैं। एक error_handler एक typed NodeError receive करता है failing नोड नेम और exception के साथ, और एक Command रिटर्न कर सकता है जो स्टेट अपडेट करता है और दूसरे नोड पर रूट करता है। यह Saga-स्टाइल कम्पेंसेशन पैटर्न्स के लिए उपयोगी है: अगर रिट्राइज़ के बाद पेमेंट कैप्चर fail हो जाता है, तो स्टेट को compensated पर अपडेट करें और finalize पर रूट करें; अगर डॉक्यूमेंट पार्सिंग fail हो जाता है, तो पार्स एरर रिकॉर्ड करें और fallback सम्मारिज़र पर रूट करें; अगर कोई ब्राउज़र एक्शन fail हो जाता है, तो पेज स्टेट mark करें और स्क्रीनशॉट ऑडिट पाथ पर स्विच करें। ...
[ALLOY]: रनटाइम डिज़ाइन यहाँ explicit है। रिट्राइ ट्रांज़िएंट फेलियर handle करता है। एरर हैंडलर exhausted फेलियर handle करता है। कमांड स्टेट अपडेट और रूट सेलेक्शन handle करता है। इंटरप्ट्स हैंडलर को bypass करते हैं, जो matter करता है क्योंकि किसी ह्यूमन या सिस्टम इंटरप्ट को ordinary टूल फेलियर के रूप में disguise नहीं किया जाना चाहिए। यह सेपरेशन ऑपरेशनल सेमांटिक्स को समझने योग्य रखता है। ...
[NOVA]: DeltaChannel चेकपॉइंट overhead address करता है। लंबे समय चलने वाले थ्रेड्स में, message लिस्ट्स जैसे चैनल्स समय के साथ बड़े होते हैं। डेल्टा mechanism के बिना, हर चेकपॉइंट पूरे accumulated वैल्यू को re-serialize कर सकता है। DeltaChannel हर स्टेप पर केवल incremental डेल्टा स्टोर करता है और snapshot_frequency के माध्यम से कॉन्फ़िगर की गई स्टेप्स की संख्या पर हर बार एक full स्नैपशॉट राइट करता है। यह cost मॉडल बदलता है। बड़े होते चैनल्स के लिए राइट्स सस्ते हो जाते हैं, जबकि रीड्स को अगले स्नैपशॉट तक डेल्टास से reconstruct करना पड़ सकता है। ट्यूनिंग सवाल यह है कि स्नैपशॉट कितनी बार लेना है ताकि रीप्ले लेटेंसी bounded रहे full-वैल्यू चेकपॉइंट bloat में वापस जाए बिना। ...
[ALLOY]: यह एजेंट सिस्टम्स के लिए directly relevant है क्योंकि message histories, tool traces, event लिस्ट्स और observations जल्दी बड़े हो सकते हैं। अगर हर चेकपॉइंट पूरा history राइट करता है, तो durable एक्जीक्यूशन जितना लंबा कन्वर्सेशन चलेगा उतना महंगा होता जाता है। Delta-based चेकपॉइंटिंग लंबे थ्रेड्स को अधिक practical बनाती है, लेकिन इसके लिए reducers की जरूरत होती है जो correctly बैचेज ऑफ़ राइट्स merge करते हैं। एक बुरा reducer ordering खो सकता है या messages duplicate कर सकता है। एपिसोड को समझाना चाहिए कि DeltaChannel एक स्टोरेज कॉन्ट्रैक्ट है, just a परफॉर्मेंस फ्लैग नहीं। ...
[NOVA]: Streaming API content blocks aur typed per-channel projections ki taraf bhi move karti hai. Yeh isliye matter karta hai kyunki modern agent UIs sirf text stream nahi karte. Woh tool calls, intermediate reasoning summaries, progress events, generated artifacts, state updates, aur final messages stream karte hain. Ek streaming API jo per channel typed content project kar sake, clients ko right jagah right cheez render karne ka ek cleaner tarika deti hai. Yeh internal state updates ko user-visible answer text ke saath mix hone se bhi bachata hai. ...
[ALLOY]: Graceful shutdown bhi ishi discussion mein belong karta hai. Long-running graph runtimes ko bina checkpoints corrupt kiye ya tools ko unknown states mein chhodhe stop karna hota hai. Shutdown timeouts, retries, checkpoints, aur streaming ke saath interact karta hai. Agar kisi process ko shutdown signal mile jab ek node mid-attempt mein hai, toh runtime ko decide karna padta hai ki kya committed hai, kya baad mein retry hoga, aur user ko kya surface karna hai. LangGraph v1.2 alpha interesting hai kyunki yeh inhe first-class runtime concerns ke roop mein treat karta hai. ...
[NOVA]: Builders ke liye practical rating high hai agar woh durable workflows, multi-node agents, ya UI-facing graph streams run karte hain. Timeouts invisible hangs se bachate hain. Error handlers fallback ko explicit banate hain. DeltaChannel checkpoint pressure reduce karta hai. Typed streaming front-end rendering improve karta hai. Tradeoff yeh hai ki har naya control surface policy chahiye: timeout defaults, retry limits, snapshot frequency, compensation routes, aur stream visibility rules. ...
[ALLOY]: Setup implication yeh hai ki graph definition ko failure policy ko afterthought ke roop mein treat karna band karna chahiye. Timeout policy ko node ke saath hi rakho jo risk own karta hai. Ek browser node ko idle timeout chahiye ho sakta hai kyunki use progress yield karna chahiye. Ek payment ya write-side-effect node ko shorter run timeout aur specific compensation route chahiye ho sakta hai. Ek summarization node ko retries chahiye ho sakti hain lekin compensation nahi kyunki uska koi external side effect nahi hai. Alag nodes ko alag operational contracts milne chahiye. ...
[NOVA]: DeltaChannel ko production se pehle test bhi chahiye. Reducer ko message batches, tool events, aur state updates feed karo, phir deltas se reconstruct karo aur result ko full expected value se compare karo. Yeh ordering bugs aur duplicate-write bugs ko early catch karta hai. Ek chhota checkpoint tabhi win hai agar recovery se wahi graph state milti hai jo full checkpoint deta. ...
[ALLOY]: UI streaming ke liye, client ko mixed content ke saath test karna chahiye: normal text, tool-call blocks, progress events, aur final state updates. Typed projection ka point yeh hai ki transcript, progress panel, aur debug inspector ko same undifferentiated stream nahi milti. Agar front end un streams ko wapas ek text box mein collapse kar deta hai, toh runtime improvement wasted hai. ...
[ALLOY]: vLLM v0.20.1 Makes DeepSeek V4 Serving a Kernel, Communication, Cache, and Tool-Call Reliability Story vLLM v0.20.1 ek patch release hai, lekin yeh exactly wahi tarah ka patch release hai jispar inference operators ko dhyan dena chahiye. Yeh DeepSeek V4 stabilization aur performance improvements par focus karta hai after initial support v0.20.0 mein land hua. Yeh distinction matter karta hai. Initial support matlab model path exist karta hai. Production serving matlab kernels, communication paths, cache behavior, structured output, tool calls, CUDA graphs, aur memory checks load ke under stable hote hain. ...
[NOVA]: DeepSeek V4 ka kaam base model support aur multi-stream pre-attention GEMM se shuru hota hai. GEMM inference ka matrix-multiply workhorse hai, aur pre-attention computation batch shape aur model architecture par depend karke bottleneck ban sakta hai. Multi-stream execution us work ko overlap ya schedule karne ki koshish karta hai. vLLM ek configurable pre-attention GEMM knob add karta hai aur default VLLM_MULTI_STREAM_GEMM_TOKEN_THRESHOLD ko tune karta hai, jo operators ko bataata hai ki optimization workload-sensitive hai. Thresholds matter karte hain kyunki small batches ke liye right setting large token loads ke liye right nahi ho sakti. ...
[ALLOY]: BF16 aur MXFP8 ke liye all-to-all communication support FlashInfer one-sided communication points se distributed MoE problem ki taraf indicate karta hai. Expert-style models ko tokens ko devices ke across route karna padta hai. All-to-all communication expensive hai, aur low-precision formats bandwidth aur memory pressure reduce karte hain, lekin woh compatibility aur numerical concerns introduce karte hain. BF16 aur MXFP8 support karna matlab serving stack model ki precision aur performance profile ke saath communication path aligned rakhne ki koshish kar raha hai. ...
[NOVA]: FP32-to-FP4 conversion optimization ek aur serving-level detail hai. Low-bit inference memory aur bandwidth bacha sakta hai, lekin conversion overhead kuch win erase kar sakta hai agar yeh bahut slow ho. Faster FP32-to-FP4 conversion ke liye ek PTX cvt instruction us cost ko hardware path ke closer le jata hai. Yeh wahi tarah ka kernel work hai jisko users seedhe nahi dekhte, lekin yeh scale par throughput aur latency badal deta hai. ...
[ALLOY]: इंटीग्रेटेड टाइल कर्नेल ऑप्टिमाइज़्ड हेड कंप्यूटेशन के लिए वही पैटर्न जारी रखते हैं। प्रोडक्शन में attention और head computation अमूर्त गणित नहीं हैं; ये टाइल साइज़, मेमोरी लेआउट, हार्डवेयर occupancy और synchronization costs बन जाते हैं। head_compute_mix_kernel के बारे में एक release note ऑपरेटर्स को बताता है कि model support Python API layer के नीचे ट्यून किया जा रहा है। वहीं से कई बड़े-मॉडल serving gains आते हैं। ...
[NOVA]: Bug fixes परफॉर्मेंस वर्क जितने ही ज़रूरी हैं। vLLM TopK 1024 पर एक पर्सिस्टेंट TopK cooperative deadlock और RadixRowState पर एक inter-CTA initialization race को ठीक करता है, जिसमें temporary persistent TopK disable करना workaround के तौर पर किया गया है। Deadlocks और inter-block races खतरनाक हैं क्योंकि ये सिर्फ कुछ batch sizes, model paths या GPU schedules पर ही दिख सकते हैं। एक inference server छोटे टेस्ट में healthy दिख सकता है और फिर किसी particular production shape के तहत hang हो सकता है। Safe operator response ये है कि इन fixes को stability prerequisites माना जाए, optional performance polish नहीं। ...
[ALLOY]: AOT compile cache loading, torch inductor errors और repeated RoPE cache initialization को भी fixes मिलते हैं। ये deployment friction points हैं। Ahead-of-time compile caches startup या warmup cost कम करने के लिए होते हैं, लेकिन cache-loading import error serving को पूरी तरह block कर सकता है। Torch compiler errors सिर्फ specific graph या kernel paths के तहत ही दिख सकते हैं। Repeated RoPE cache initialization काम बर्बाद करता है और latency spikes बना सकता है। Stable inference इन छोटे-छोटे pieces के एक साथ काम करने पर निर्भर है। ...
[NOVA]: Tool-call behavior को एक notable repair मिलता है: DeepSeek V3.2 और V4 में non-streaming tool calls के लिए missing type conversion। यह agent systems के लिए मायने रखता है। एक model fast हो सकता है लेकिन agent systems के लिए unusable हो सकता है अगर structured outputs या tool calls एक response mode में break करते हैं। Non-streaming और streaming paths में अक्सर अलग parsers और conversion points होते हैं। ऑपरेटर्स को दोनों को काम करना चाहिए अगर वे batch evaluation, synchronous API calls और streaming chat support करते हैं। ...
[ALLOY]: General vLLM fixes उसी production theme को reinforce करते हैं। max_num_batched_token CUDA graph state में captured है। num_gpu_blocks_override max-model-length checks में accounted है। Expandable segments cumem memory pool के आसपास auto-disable हैं। Reasoning parser kwargs structured output को pass किए जाते हैं। Quark W4A8 GPT-OSS के लिए ROCm paths को argument fixes मिलते हैं। ये headline features नहीं हैं, लेकिन ये configuration, graph capture, memory allocation, parser behavior और hardware backend के बीच mismatches prevent करते हैं। ...
[NOVA]: vLLM release का DeepSeek V4 part एक रिमाइंडर है कि model serving एक product feature से पहले systems problem है। एक model path load हो सकता है, एक test prompt answer कर सकता है, और फिर भी real serving pressure के तहत fail कर सकता है। यह pressure batch shape, expert routing, graph capture, memory pool behavior, parser modes और tool-call envelopes के ज़रिए आता है। ...
[ALLOY]: Multi-stream pre-attention GEMM एक अच्छा example है क्योंकि feature सिर्फ faster या slower नहीं है। यह token thresholds, workload shape, hardware scheduling और क्या overlapping work actual utilization improve करता है, इस पर निर्भर करता है। ऑपरेटर्स को ऐसे knob को universal speed guarantee की तरह नहीं, बल्कि अपने own traffic को benchmark करने के signal के तौर पर पढ़ना चाहिए। ...
[NOVA]: All-to-all communication matter करता है क्योंकि MoE-style serving tokens को devices के बीच push करता है। Model mathematically sparse हो सकता है, लेकिन infrastructure को routing data, activations और expert work को high speed पर move करना होता है। इस communication path में BF16 और MXFP8 support bandwidth, precision और hardware fit के बारे में है। एक weak communication path specialized kernels के gains erase कर सकता है। ...
[ALLOY]: Deadlock और race fixes performance notes से भी ज़्यादा important हैं। एक persistent TopK deadlock tiny health check में show नहीं हो सकता। एक inter-CTA initialization race particular schedule पर निर्भर कर सकता है। ये production-shaped bugs हैं: casual testing से पास होने के लिए достаточно rare, लेकिन wrong load के तहत serving path को freeze करने के लिए достаточно severe। ...
[NOVA]: CUDA graph capture fixes उसी category में हैं। Graph capture stable shapes, memory behavior और configuration invariants मानता है। अगर max batched token state, GPU block overrides या memory pool settings उन assumptions से बाहर drift करते हैं, तो optimization एक correctness bug बन सकता है। Serving stacks को guardrails चाहिए जो unsafe configurations को reject करें, बिना वो runtime surprises बनें। ...
[ALLOY]: टूल-कॉल रूपांतरण एजेंट-फेसिंग एज है। एक सर्वर खूबसूरत गद्य जनरेट कर सकता है, फिर भी एजेंट्स के लिए बेकार हो सकता है अगर नॉन-स्ट्रीमिंग टूल-कॉल पथ गलत टाइप्स रिटर्न करता है। स्ट्रीमिंग और नॉन-स्ट्रीमिंग अक्सर अलग पार्सर पथों के जरिए लागू किए जाते हैं, इसलिए दोनों की जांच जरूरी है। एजेंट वर्कलोड के लिए, स्ट्रक्चर्ड आउटपुट विश्वसनीयता अनुमान का एक सहायक नहीं है। यह सर्विंग की सही-सही भूमिका का हिस्सा है। ...
[NOVA]: इसीलिए इस तरह के पैच रिलीज़ ध्यान देने योग्य हैं। वे स्थिर सर्विंग के पीछे की अदृश्य चेकलिस्ट को प्रकट करते हैं: कर्नेल, संचार, क्वांटिज़ेशन रूपांतरण, कैश लोडिंग, RoPE इनिशियलाइज़ेशन, CUDA ग्राफ इनवेरिएंट्स, मेमोरी पूल पॉलिसी, स्ट्रक्चर्ड-आउटपुट पार्सर आर्ग्यूमेंट्स, और हार्डवेयर-स्पेसिफिक बैकएंड्स। जब ये टुकड़े एक साथ मिलते हैं, तो मॉडल API की तरह अनुभव होता है। जब नहीं होते, तो मॉडल लैब बिल्ड की तरह लगता है। ...
[ALLOY]: vLLM ऑपरेटर्स के लिए, सबसे सुरक्षित जवाब पैच नोट्स को लोड-टेस्ट चेकलिस्ट बनाना है। उन बैच शेप्स की जांच करें जो TopK पथों को हिट करते हैं। उस DeepSeek टूल-कॉल मोड की जांच करें जो आप एजेंट्स को एक्सपोज़ करते हैं। CUDA ग्राफ कैप्चर की जांच उसी मेमोरी और मॉडल-लेंथ कॉन्फ़िगरेशन के साथ करें जो प्रोडक्शन में उपयोग होता है। उन कोल्ड स्टार्ट्स की जांच करें जो कंपाइल कैश पर निर्भर करते हैं। और स्ट्रीमिंग और नॉन-स्ट्रीमिंग दोनों रिस्पॉन्स की जांच करें, क्योंकि पार्सर बग अक्सर केवल एक तरफ रहते हैं। ...
[NOVA]: बड़ा पैटर्न यह है कि विश्वसनीयता का काम शायद ही कभी एक नाटकीय फिक्स होता है। यह छोटे इनवेरिएंट्स की एक श्रृंखला है जो एक साथ मौजूद रहते हैं। कर्नेल को सही तरीके से कंप्यूट करना होगा। संचार पथ को कुशलता से रूट करना होगा। कैश को एक बार इनिशियलाइज़ करना होगा और प्रेडिक्टेबली लोड करना होगा। मेमोरी पूल को लिमिट्स का सम्मान करना होगा। पार्सर को वह टाइप्स रिटर्न करने होंगे जिन पर कॉलर भरोसा कर सकता है। जब एक इन्फरेंस सर्वर फेल होता है, तो यह आमतौर पर इसलिए होता है क्योंकि उस श्रृंखला का एक लिंक प्रोडक्शन-शेप्ड वर्कलोड के तहत टूट गया। ...
[NOVA]: बड़ा सबक यह है कि एक नए फ्रंटियर या ओपन-वेट मॉडल की सर्विंग एक फीचर नहीं है। यह एक स्टैक है: मॉडल कॉन्फ़िग, टोकनाइज़र व्यवहार, अटेंशन बैकएंड, MoE रूटिंग, संचार प्रेसिज़न, क्वांटिज़ेशन, कंपाइल कैश, CUDA ग्राफ कैप्चर, मेमोरी पूल पॉलिसी, स्ट्रक्चर्ड आउटपुट पार्सर, टूल-कॉल कन्वर्टर, और हार्डवेयर-स्पेसिफिक बैकएंड। vLLM v0.20.1 मूल्यवान है क्योंकि यह दिखाता है कि स्थिरीकरण का काम कितना खुले तौर पर होता है। बिल्डर्स को इन पैच रिलीज़ को उस मैप के रूप में पढ़ना चाहिए कि उनके अपने इन्फरेंस डेप्लॉयमेंट कहाँ फेल हो सकते हैं। ...
[ALLOY]: सेटअप सलाह यह है कि एक सर्विंग एसेप्टेंस टेस्ट बनाए रखें जो रियल एजेंट ट्रैफिक की तरह दिखे। इसमें एक सादा कम्प्लीशन, एक स्ट्रक्चर्ड-आउटपुट रिक्वेस्ट, एक स्ट्रीमिंग टूल-कॉल रिक्वेस्ट, एक नॉन-स्ट्रीमिंग टूल-कॉल रिक्वेस्ट, और एक लॉन्ग-कॉन्टेक्स्ट बैच शामिल करें जो कैश और ग्राफ-कैप्चर सेटिंग्स को एक्सरसाइज़ करे। फिर हर सर्विंग अपग्रेड के बाद यह रन करें। अगर सिर्फ सादा कम्प्लीशन पास हो, तो मॉडल सर्वर अभी रियल प्रोडक्शन एजेंट यूज़ में लोड के तहत एजेंट्स के लिए तैयार नहीं है। ...
[ALLOY]: यहाँ एक आखिरी बिल्डर सबक है। इंसिडेंट्स का इंतज़ार न करें कि आपके टाइमआउट, क्यू, चेकपॉइंट, और पार्सर पॉलिसी का क्या मतलब है। उन्हें लिख दें, जांचें, और उन्हें उन टूल्स में एक्सपोज़ करें जो ऑपरेटर्स पहले से उपयोग करते हैं। अगर वॉइस क्यू बंद हो जाता है, एक ग्राफ नोड टाइम आउट हो जाता है, या इन्फरेंस पार्सर एक टूल कॉल को रिजेक्ट करता है, तो सिस्टम को बताना चाहिए कि किस पॉलिसी ने फायर किया और क्या स्टेट सेव किया गया। ...
[NOVA]: यह एक प्रभावशाली एजेंट स्टैक और एक मेंटेनेबल एक के बीच का अंतर है। मेंटेनेबल स्टैक में ओवरलोड से पहले सीमाएं होती हैं, मिस्ट्री फेलियर्स से पहले टाइप्ड एरर्स होते हैं, प्रोसेस डेथ से पहले चेकपॉइंट्स होते हैं, और यूज़र्स को अनुमान लगाने से पहले स्ट्रक्चर्ड प्रोग्रेस होती है। इस एपिसोड के टेक्नोलॉजीज़ अलग हैं, लेकिन इंजीनियरिंग पोस्चर एक ही है: रनटाइम बाउंड्रीज़ को इतना स्पष्ट बनाएं कि ह्यूमन्स उन्हें ऑपरेट कर सकें। ...
[NOVA]: एपिसोड नोट्स और सोर्स लिंक्स के लिए, Toby On Fitness Tech dot com पर जाएं। ...
[ALLOY]: OpenClaw Daily के लिए बस इतना ही। सुनने के लिए धन्यवाद, और जल्द ही वापस आएंगे। ...