Episode 83: Hermes एजेंट v2026.7.7, ओपनएआई Codex rust-v0.143

एपिसोड 083 — 8 जुलाई, 2026

[00:00] एपिसोड हुक

Agent Stack Release Readout में Hermes Agent अपडेट, OpenAI Codex rust, और Claude Code CLI 2.1.197 की विशेषताओं पर प्रकाश डाला गया है। Hermes Agent v2026.7.7 बेसलाइन पर अपडेट होता है, जो इसके टूल-कॉलिंग पाइपलाइन और ऑब्ज़र्वेबिलिटी हुक में सुधार लाता है। OpenAI का Codex rust कई डिफ़ॉल्ट सेटिंग्स बदलता है, जिससे npm marketplace catalog से रिमोट प्लगइन्स डिफ़ॉल्ट रूप से लोड होते हैं और रिमोट-फर्स्ट डायग्नोस्टिक्स उपलब्ध होते हैं। Claude Code CLI 2.1.197 कठोर सैंडबॉक्स नियंत्रण, बेहतर टेलीमेट्री, और deterministic reason-step लॉगिंग के लिए एक नया फ्लैग जोड़ता है। ये सभी रिलीज़ मिलकर Agent Stack की प्रोडक्शन एजेंट्स के लिए रिलायबिलिटी फीचर्स को तेज करती हैं, जबकि मौजूदा वर्कफ़्लो के लिए अपग्रेड पाथ सहज रखती हैं। डेवलपर्स Agent Stack CLI के ज़रिए तुरंत नई सुविधाओं का परीक्षण कर सकते हैं, जो अब v2026.7.7 बेसलाइन पर डिफ़ॉल्ट है और एक-फ्लैग अपग्रेड पाथ प्रदान करता है जो मौजूदा कॉन्फ़िगरेशन को सुरक्षित रखता है और बेहतर रिमोट-प्लगइन वर्कफ़्लो तथा कठोर Claude Code सुरक्षा उपायों को अनलॉक करता है।

[02:00] Agent Stack Release Readout: Hermes Agent v2026.7.7.2; OpenAI Codex rust-v0.143.0; Claude Code CLI 2.1.197

OpenAI ने 8 जुलाई को Codex rust-v0.143.0 जारी किया, एक रिलीज़ जो कई डिफ़ॉल्ट बदलती है और एजेंट हार्नेस में पहले से मिसिंग फर्स्ट-क्लास इंटीग्रेशन जोड़ती है। मुख्य बदलाव रिमोट प्लगइन्स का डिफ़ॉल्ट रूप से एनेबल होना है — प्रत्येक Codex इंस्टॉल अब npm marketplace catalog से प्लगइन्स लोड करता है, समृद्ध catalog पंक्तियाँ दिखाता है, और रिमोट और लोकल वर्शन को साथ-साथ दिखाता है ताकि आप देख सकें जब लोकल इंस्टॉल रिमोट बिल्ड द्वारा shadowed हो। यह प्लगइन डिस्कवरी को opt-in से बेसलाइन व्यवहार में बदल देता है और curated प्लगइन डायरेक्टरी को कोर इंस्टॉल पाथ में लाता है।

दूसरा महत्वपूर्ण तंत्र सिस्टम प्रॉक्सी रूटिंग है। Codex अब macOS और Windows सिस्टम प्रॉक्सी के ज़रिए authentication और Responses API ट्रैफ़िक push कर सकता है, जिसमें PAC फ़ाइलें और WPAD डिस्कवरी शामिल हैं, जिसका अर्थ है कि authenticated proxies के पीछे कॉर्पोरेट यूज़र को Codex को OpenAI या Bedrock से बात करने के लिए सिस्टम स्टैक को बायपास करने की आवश्यकता नहीं है। नए codex remote-control pair कमांड के साथ जोड़ें, जो चल रहे daemon से मैनुअल पेयरिंग कोड जेनरेट करता है, और आपके पास air-gapped या shared-host सेटअप के लिए websocket सत्र में सीधे जाए बिना उपयोगी रिमोट-कंट्रोल फ़्लो है।

मॉडल की दृष्टि से, rust-v0.143.0 Amazon Bedrock GPT-5.6 Sol, Terra, और Luna को max reasoning effort के साथ फर्स्ट-क्लास विकल्प के रूप में जोड़ता है, ताकि Bedrock पर पहले से provisioned टीमें direct OpenAI ग्राहकों के समान reasoning tier पा सकें। MCP भी एक व्यवहार परिवर्तन प्राप्त करता है: टूल सर्च अब डिफ़ॉल्ट रूप से चालू है, और ChatGPT-hosted MCP सर्वर session authentication में शामिल हो सकते हैं, जिसका अर्थ है टूल डिस्कवरी के लिए कम राउंड-ट्रिप और hosted सर्वर के लिए स्थिर session-scoped credentials। App-server क्लाइंट्स को environment inspection, descendant thread लिस्टिंग, और specific turn के ज़रिए history fork मिलती है, जो app-server इंटरफ़ेस को कुछ ऐसा बनाता है जिसके ऊपर आप शेड्यूलिंग और रीप्ले टूलिंग बना सकते हैं।

बिल्डर्स के लिए व्यावहारिक निहितार्थ यह है कि प्लगइन और प्रॉक्सी घर्षण लगभग शून्य हो जाता है। एक नया Codex इंस्टॉल रिमोट प्लगइन्स उठाता है और OS द्वारा पहले से ट्रस्ट किए गए जो भी प्रॉक्सी के माध्यम से रूट करता है, तो पिछला 'मेरी मशीन पर काम करता है, corp proxy के पीछे टूट जाता है' फेलियर मोड बड़े पैमाने पर खत्म हो जाता है। अगली रिलीज़ पर ध्यान दें कि क्या टूल सर्च डिफ़ॉल्ट और session-scoped MCP auth hosted MCP सर्वर पर प्रति-रिक्वेस्ट auth पर निर्भर per-request auth पर प्रतिगमन लहर लाता है, और क्या Bedrock GPT-5.6 Luna को अलग प्राइसिंग टायर नोट मिलता है।

[03:35] AionLabs OpenRouter पर Aion-3.0-Mini Roleplay Model जारी करता है

AionLabs ने इस सप्ताह OpenRouter पर Aion-3.0-Mini जारी किया, एक roleplay और storytelling मॉडल जो इंटरैक्टिव फिक्शन, NPC डायलॉग, और tabletop-style असिस्टेंट के लिए बनाया गया है। सिस्टम DeepSeek फैमिली पर बना है और 131,072-token context window एक्सपोज़ करता है, जो persona memory, संचित lore, और serialized session history को बिना बाहरी retrieval या vector stores के पूरी तरह prompt के अंदर रखने के लिए पर्याप्त जगह है।

हुड के तहत, मॉडल एक सहयोगी जनरेशन पाइपलाइन चलाता है। कई विशेषज्ञ भूमिकाएं प्रत्येक कथा वर्कफ़्लो का एक हिस्सा लेती हैं — दृश्य फ्रेमिंग, चरित्र आवाज़, और निरंतरता ट्रैकिंग अलग-अलग पास के रूप में काम करती हैं — और आउटपुट एक सिंथेसिस स्टेज के माध्यम से विलय होते हैं जो अंतिम रिप्लाय उत्पन्न करता है। बिल्डर्स के लिए, इसका मतलब है कि एक एकल API कॉल डायलॉग लौटाती है जो पहले से ही उन परतदार जिम्मेदारियों को दर्शाती है, न कि प्रॉम्प्ट इंजीनियरिंग पर भरोसा करके समान पृथक्करण का नाटक करती है।

OpenRouter मॉडल को अपने स्टैंडर्ड चैट कम्प्लीशंस एंडपॉइंट के माध्यम से उजागर करता है, इसलिए कोई भी OpenAI-संगत क्लाइंट बिना कोड परिवर्तन के इस पर पॉइंट कर सकता है। DeepSeek-व्युत्पन्न बेस भी इसका मतलब है कि मॉडल बॉक्स के बाहर से बहुभाषी सहायता प्राप्त करता है, जो अनुवादित या क्रॉस-लोकेल कैंपेन के लिए मायने रखता है। प्राइसिंग, रेट लिमिट्स, और प्रति-टोकन लागत OpenRouter कैटलॉग पेज पर उपलब्ध हैं और मार्केटप्लेस के सामान्य बिलिंग मॉडल का पालन करती हैं।

लंबी इंटरैक्टिव सत्रों के लिए वर्कफ़्लोज़ के लिए, 131K कॉन्टेक्स्ट मध्यम कैंपेन के लिए बाहरी मेमोरी की आवश्यकता को दूर करता है, और रोल-आधारित आर्किटेक्चर यह सुझाव देता है कि सिस्टम वैनिला बेस मॉडल पर सिंगल-पास प्रॉम्प्टिंग की तुलना में चरित्र ड्रिफ्ट के प्रति अधिक मजबूत होगा। सिंथेसिस पास सिस्टम को रोल आउटपुट के बीच अंतर्विरोधों को समेटने का एक अंतर्निहित अवसर भी देता है, जो वह प्रकार की विफलता मोड है जो आमतौर पर लंबे सत्रों में सामने आती है। पर्सना संगति पर बेंचमार्क नंबरों और यह देखने के लिए देखें कि AionLabs पर-रोल इंटरमीडिएट आउटपुट को फाइन-ग्रेन्ड कंट्रोल के लिए कॉन्फ़िगरेबल नॉब्स के रूप में एक्सपोज़ करता है या नहीं।

[05:23] लो-पावर CPUs पर हाई क्वालिटी स्पीच डिलीवर करने वाला Kokoro के साथ लोकल हाई फिडेलिटी TTS

Kokoro उन डेवलपर्स के लिए एक महत्वपूर्ण ब्रेकथ्रू के रूप में उभरा है जो वॉयस-इनेबल्ड एजेंट बना रहे हैं जिन्हें प्राकृतिक-ध्वनि वाली स्पीच का त्याग किए बिना पूरी तरह से एज पर चलाने की आवश्यकता है। जबकि अधिकांश हाई-क्वालिटी टेक्स्ट-टू-स्पीच मॉडल को पर्याप्त VRAM और विशेष GPU हार्डवेयर की आवश्यकता होती है, Kokoro केवल 82 मिलियन पैरामीटर का उपयोग करके प्रोफेशनल-ग्रेड ऑडियो डिलीवर करता है। यह दक्षता मॉडल को स्टैंडर्ड लैपटॉप CPUs पर आराम से चलने की अनुमति देती है।

बिल्डर्स अब OpenAI या ElevenLabs जैसे क्लाउड-बेस्ड TTS प्रोवाइडर्स की विलंबता और लागत ओवरहेड से बच सकते हैं। मॉडल ने हाल ही में Ariya Hidayat द्वारा तकनीकी समीक्षाओं के बाद लोकप्रियता हासिल की है, जिसने 100 मेगाबाइट से कम की अविशिष्ट रूप से छोटी मेमोरी फुटप्रिंट में काम करते हुए हाई फिडेलिटी बनाए रखने की इसकी क्षमता को उजागर किया। यह इसे उन लोकल एजेंटिक वर्कफ़्लोज़ के लिए एक प्रमुख उम्मीदवार बनाता है जिन्हें बाहरी निर्भरताओं के बिना हाई-स्पीड ऑडियो जनरेशन की आवश्यकता होती है।

दो विशिष्ट तंत्र इस प्रदर्शन को चलाते हैं। पहला, मॉडल निष्पादन के लिए ONNX रनटाइम का उपयोग करता है, जो क्रॉस-प्लेटफॉर्म संगतता और अनुकूलित ऑपरेटर कर्नेल के माध्यम से गैर-GPU हार्डवेयर पर महत्वपूर्ण स्पीडअप सक्षम करता है। इसका मतलब है कि डेवलपर्स C++, Python, या Rust वातावरण में न्यूनतम घर्षण के साथ Kokoro को एकीकृत कर सकते हैं। यह प्रोडक्शन में जटिल CUDA वातावरण की आवश्यकता को प्रभावी रूप से हटाता है, डेस्कटॉप या मोबाइल एजेंटों के लिए डिप्लॉयमेंट स्टैक को सरल बनाता है।

दूसरा, आर्किटेक्चर एक स्टाइल-लैटेंट वेक्टर दृष्टिकोण का लाभ उठाता है जो बड़े ट्रांसफॉर्मर ब्लॉक्स की आवश्यकता के बिना विविध भावनात्मक प्रसन को अनुमति देता है। बेंचमार्क में, Kokoro मॉडल से दस गुना बड़े मॉडल के साथ प्रतिस्पर्धा करने वाला एक मीन ओपिनियन स्कोर प्राप्त करता है, रोबोटिक के बजाय मानव-जैसा लगने वाला 24kHz ऑडियो उत्पन्न करता है। यह विश्वसनीय और इमर्सिव एजेंट इंटरैक्शन के लिए आवश्यक हाई-क्वालिटी सिंथेसिस प्रदान करता है।

एजेंट बिल्डर्स के लिए, इसका मतलब है कि वॉयस इंटरैक्शन अब क्लाउड-ओनली फीचर नहीं है। आप अब प्राइवेसी-सेंसिटिव एप्लिकेशन्स या इंटरमिटेंट कनेक्टिविटी वाले वातावरण के लिए एक पूर्ण वॉयस-टू-वॉयस लूप को एक लोकल बाइनरी में पैकेज कर सकते हैं। आगे देखें, Kokoro इकोसिस्टम का अंग्रेज़ी और जापानी से परक अधिक विशेषज्ञ डोमेन में विस्तार, जिसमें अधिक भाषाओं के लिए सहायता शामिल है।

[07:17] एब्लेशन स्टडी चेन-ऑफ-थॉट कोहरेंस को कुछ वर्कस्पेस अटेंशन हेड्स पर पिन करती है

Anthropic ने "A global workspace in language models" शीर्षक से एक शोध पत्र प्रकाशित किया जो Global Workspace Theory के माध्यम से transformer inference को पुनः परिभाषित करता है - यह एक संज्ञानात्मक ढांचा है जिसमें विशेषज्ञ मॉड्यूल एक साझा workspace में प्रसारण करते हैं और प्रमुख सिग्नल downstream प्रोसेसिंग को संचालित करता है। पत्र तर्क देता है कि production models में reasoning, tool routing और context integration, workspace-style dynamics को standard transformer machinery पर परत बनाकर दर्शाते हैं, न कि केवल scale से उभरने वाले गुणों को। इस रिलीज़ ने 450 अंकों का Hacker News thread खींचा जिसमें builders और ML researchers ने interpretability work और agent design के लिए इस framing के मायने पर विचार किया।

पहला mechanism जिसे authors बताते हैं, वह specific attention heads और MLP circuits को GWT द्वारा भविष्यवाणी किए गए broadcast-and-competition pattern पर मैप करता है। Multi-step reasoning traces के दौरान, "workspace" heads की एक छोटी set intermediate results कोconsolidate करती है और उन्हें downstream layers को पुनः प्रसारित करती है; उन heads को ablate करने से chain-of-thought coherence zusammenbricht जबकि single-turn capability बड़े पैमाने पर बरकरार रहती है - एक behavioral dissociation जिसे authors central evidence मानते हैं। दूसरा mechanism एक routing signature है। जब model को एक tool-call decision का सामना करना पड़ता है, तो वही broadcast pattern heads में एक single dominant tool choice को surface करता है जो अन्यथा specialize करते हैं, GWT की winner-take-all भविष्यवाणी से मेल खाता है। पत्र यह भी रिपोर्ट करता है कि workspace-head activation math और code benchmarks पर token-level confidence के साथ सहसंबंधित है, जो builders को reasoning depth के लिए एक मापनीय proxy देता है।

Builders के लिए, operational signal यह है कि interpretability tooling full residual stream को scan करने के बजाय एक specific head class को target कर सकती है, जो circuit-level steering और probe design के लिए search space को कम करती है। HN discussion ने open-weight models पर broadcast-head identification को reproduce करने के प्रारंभिक प्रयासों को surface किया, और देखने की अगली concrete बात यह है कि Anthropic API के माध्यम से workspace-head activity expose करता है या नहीं, या यह कि independent reproductions Claude family के बाहर instruction-tuned checkpoints पर routing signature की पुष्टि करते हैं या नहीं।

[09:05] Show HN: Rowboat 162 points पर पहुंचा, local-first Claude Desktop rival के रूप में

Hacker News इस सप्ताह Rowboat के इर्दगिर्द चमका, Rowboat Labs से एक open-source project जो स्वयं को Anthropic के Claude Desktop का local-first alternative के रूप में बाज़ार करता है। पोस्ट 162 points पार कर गया और उस विषय पर ठोस चर्चा खींची कि एक self-hosted chat client को वाकई vendor के first-party desktop app के साथ प्रतिस्पर्धा के लिए क्या होना चाहिए।

पिच सीधी है: एक desktop client जहां conversation history, configuration और project context user's machine पर रहती है, hosted account system के माध्यम से sync नहीं करती। Rowboat Rowboat Labs org के तहत GitHub पर open-source है, और model connector कई providers को स्वीकार करता है, एक में lock नहीं करता। एक builder इसे Anthropic, एक OpenAI-compatible endpoint, या एक self-hosted model server पर point कर सकता है बिना client को rewrite किए। Claude Desktop के साथ interface parity जानबूझकर दिखती है - same project sidebar pattern, same conversation threading, same system prompt editor - ताकि एक switcher को muscle memory फिर से सीखने की ज़रूरत न पड़े।

यह एक specific workflow के लिए मायने रखता है। अगर आपने proprietary codebases, unreleased product specs, या customer data को hosted chat client में डालने में हिचकिचाहट महसूस की है क्योंकि data egress concerns हैं, तो BYOK semantics वाला एक local-first client trust boundary को आपके अपने disk पर shift कर देता है। HN thread ने early adopters को self-hosted model servers के साथ और Anthropic और OpenAI APIs के साथ अपनी own keys के साथ wire करते देखा, इसे एक thin orchestration shell के रूप में देखते हुए model product के बजाय।

दो चीजें देखने योग्य हैं: क्या maintainers production teams के लिए standardize करने लायक steady release cadence बनाए रख सकते हैं, और project tool-calling और MCP server integration को कैसे handle करता है। ये दो capabilities हैं जो एक chat toy को कुछ ऐसा बनाती हैं जिसमें एक engineering org वास्तव में commit कर सकती है।

[10:50] FreqDepthKV Optimized Long-Context KV Cache Compression के लिए Frequency-Guided Depth Sharing लाता है

AI coding agents को scale करने में प्राथमिक चुनौती remains long-context inference के दौरान KV cache की massive memory और bandwidth overhead। नए पेपर FreqDepthKV में, researchers Anna Córdoba, Adam Puente Tercero और Nerea Angulo Hijo एक novel inference-time compression method प्रस्तावित करते हैं जो इन costs को mitigate करने के लिए डिज़ाइन की गई है। arXiv 2607.06519 के रूप में featured, study Frequency-Guided Depth Sharing पेश करता है, जो large language models के adjacent layers में पाई जाने वाली inherent redundancy को target करता है। Aggressive pruning या quantization के विपरीत जो often complex multi-step reasoning के लिए आवश्यक fine-grained evidence को नष्ट कर देते हैं, FreqDepthKV KV states को shared low-frequency depth components और sparse high-frequency residuals में factorize करता है।

यह आर्किटेक्चर एक हल्के ऑनलाइन प्रोब का उपयोग करके एक ठोस तंत्र पर निर्भर करता है। यह प्रोब पुनर्निर्माण-संवेदनशील अटेंशन लॉगिट्स में उनके योगदान का मूल्यांकन करने के लिए वास्तविक समय में अटेंशन हेड्स का विश्लेषण करता है। इस विश्लेषण के आधार पर, सिस्टम प्रत्येक हेड को तीन विशिष्ट मोड में से एक को सौंपता है: शेयर्ड-डेप्थ, रेजिड्यूअल-डेप्थ, या एक्सैक्ट कैश। KV स्टेट के उन घटकों की पहचान करके जो वर्तमान जेनरेशन स्टेप के लिए आवश्यक हैं और जो गहराई में अतिरेक हैं, सिस्टम रिट्रीवल प्रदर्शन में सामान्य गिरावट के बिना महत्वपूर्ण संपीड़न प्राप्त करता है। यह उन बिल्डर्स के लिए विशेष रूप से प्रासंगिक है जिन्हें उपभोक्ता या एज हार्डवेयर की कठोर VRAM सीमाओं के भीतर काम करते हुए हेस्टैक में सुई जैसी सटीकता बनाए रखने की आवश्यकता है।

स्वायत्त एजेंट बनाने वालों के लिए, यह शोध स्टैटिक क्वांटाइजेशन से दूर, डायनामिक, लेयर-अवेयर कैश प्रबंधन की ओर बदलाव का सुझाव देता है। KV कैश को मेमोरी के एक ठोस ब्लॉक के रूप में नहीं, बल्कि एक फ्रीक्वेंसी-विघटनीय संरचना के रूप में मानने से, डेवलपर्स मौजूदा GPU क्लस्टर्स पर अपने प्रभावी संदर्भ विंडो को संभावित रूप से दोगुना कर सकते हैं। यह दृष्टिकोण सुनिश्चित करता है कि मॉडल लॉजिक और सिंटैक्स के लिए आवश्यक उच्च-फ्रीक्वेंसी जानकारी को संरक्षित करे जबकि निम्न-फ्रीक्वेंसी पृष्ठभूमि को साझा संरचनाओं में ऑफलोड करे। इस प्रोब तंत्र के ओपन-सोर्स इन्फरेंस इंजनों में बाद के कार्यान्वयन पर ध्यान दें कि यह विभिन्न मॉडल परिवारों और पैरामीटर गिनती में कैसा प्रदर्शन करता है।

[12:42] Danus: मैथ रीजनिंग एजेंट्स के लिए एक फैक्ट-ग्राफ मेमोरी लेयर

एक नया arXiv पेपर Danus का परिचय देता है, एक ऑर्केस्ट्रेशन सिस्टम जो शोध-स्तरीय गणितीय तर्क के लिए है जो एक साझा फैक्ट ग्राफ को वैश्विक मेमोरी स्टोर के रूप में केंद्रित करता है। लेखक जिहाओ लियू, गुओक्सिओंग गाओ, और ज़ेमिंग सन (arXiv 2607.06447) एक विशिष्ट स्केलिंग समस्या को लक्षित करते हैं: जैसे-जैसे LLM-आधारित मैथ एजेंट खुली समस्याओं का सामना करते हैं, समानांतर प्रूफ सर्च तेजी से बढ़ता है जबकि मध्यवर्ती दावों को व्यवस्थित या भरोसेमंद बनाना कठिन हो जाता है।

तंत्र दो-स्तरीय है। एक मुख्य एजेंट प्लानिंग और समन्वय संभालता है, प्रूफ की शाखाओं की खोज करने वाले वर्कर एजेंटों को सबटास्क डिस्पैच करता है। महत्वपूर्ण रूप से, प्रत्येक मध्यवर्ती दावा — लेमा, परिभाषाएं, मध्यवर्ती परिणाम — एक साझा फैक्ट ग्राफ में लिखा जाता है जो सिस्टम की वैश्विक मेमोरी के रूप में कार्य करता है। वर्कर्स अपने निजी प्राइवेट स्क्रैचपैड नहीं रखते; वे एक ही स्ट्रक्चर्ड स्टोर से पढ़ते और लिखते हैं, इसलिए दावे समानांतर शाखाओं में ऑडिट करने योग्य होते हैं न कि पर-थ्रेड संदर्भ में दबे हुए। ग्राफ एक समन्वय सब्सट्रेट के रूप में कार्य करता है, केवल एक ट्रांसक्रिप्ट नहीं।

यह अब क्यों मायने रखता है: खुली-समस्या मैथ एजेंटिक सिस्टम के लिए एक उत्पादक टेस्टबेड रहा है precisely क्योंकि आंशिक परिणाम जांचने योग्य होते हैं। एक फैक्ट-ग्राफ मेमोरी लेयर वह स्ट्रक्चरल पीस है जो अधिकांश मल्टी-एजेंट स्टैक्स में अभी भी लुप्त है — LangChain, AutoGen, और समान फ्रेमवर्क मैसेज पासिंग या वेक्टर स्टोर्स पर निर्भर करते हैं, जो दावा-स्तर की निर्भरताओं को स्पष्ट रूप से सतह पर नहीं लाते। Danus एक ऐसे आर्किटेक्चर की ओर इशारा करता है जहां दावा प्रोवेनेंस और ग्राफ-स्तर का डिडुप्लिकेशन किसी भी समानांतर-सर्च एजेंट सिस्टम के लिए फर्स्ट-क्लास चिंताएं बन जाती हैं।

ध्यान देने योग्य: पेपर का मूल्यांकन खंड, जो विस्तार से बताने की उम्मीद है कि फैक्ट ग्राफ कौन-सी समस्या क्लासेस को स्थिर करता है और मुख्य एजेंट की प्लानिंग कहां अभी भी बॉटलनेक बनी हुई है। खुला प्रश्न: क्या लेखक ग्राफ स्कीमा को एक पुन: प्रयोज्य इंटरफ़ेस के रूप में प्रकाशित करेंगे या इसे मैथ-विशिष्ट प्रिमिटिव्स से युग्मित छोड़ देंगे।

यदि आप मल्टी-एजेंट पाइपलाइन बनाते हैं जो समानांतर सर्च में फैन आउट होती हैं, तो Danus जो प्रश्न उठाता है वह यह है कि क्या आपकी मेमोरी लेयर को एक सपाट बफर के बजाय दावों के ग्राफ के रूप में क्वेरी की जा सकती है।

[14:34] LLM कोडिंग एजेंट्स का मूल्यांकन स्टोकेस्टिक मॉडल-डिस्कवरी ऑपरेटर्स के रूप में

हाओ हे, ज़ूइंग लियू, और क्रिस जे. कुलमैन (पेपर 2607.06413) का एक नया arXiv प्रीप्रिंट अधिकांश LLM कोडिंग-एजेंट मूल्यांकनों द्वारा टाले जाने वाले प्रश्न को लक्षित करता है: आप उस एजेंट को कैसे स्कोर करते हैं जो स्वयं खुले-सिरे वाला डेटा मॉडलिंग चलाता है? टीम का तर्क है कि एकल बेंचमार्क रन एजेंट की डिस्कवरी व्यवहार को चरित्रित नहीं कर सकता, क्योंकि एजेंट एक साथ स्टोकेस्टिक और एडाप्टिव है। इसे एक शोरिला ब्लैक-बॉक्स फंक्शन की तरह मानें, और आपको पॉइंट एस्टिमेट्स नहीं, बल्कि एक्सपेरिमेंटल-डिज़ाइन मशीनरी की आवश्यकता है।

यह तंत्र एक औपचारिक रूपरेखा है। लेखक कोडिंग एजेंट को एक स्टोकेस्टिक मॉडल-खोज ऑपरेटर के रूप में प्रस्तुत करते हैं: यह कार्य-विशिष्ट खोज डेटा और एक अनुकूलन लक्ष्य को ग्रहण करता है, और एक खोजा गया मॉडल उत्सर्जित करता है। उस ऑपरेटर के चारों ओर, वे एक प्रायोगिक डिज़ाइन और विश्लेषण ढांचा लपेटते हैं जो खोज कार्य में इनपुट को स्वीप करता है, विचरण का अनुमान लगाने के लिए रन दोहराता है, और कारकों को विशिष्ट कारकों — कार्य, प्रॉम्प्ट, एजेंट बैकबोन, खोज बजट — के लिए जिम्मेदार ठहराने के लिए फैक्टोरियल-शैली विश्लेषण का उपयोग करता है।

मुख्य दावा एक एकल संख्या के बजाय पद्धतिगत है। ढांचा खोज विचरण को मात्रात्मक रूप से निर्धारित करने और यह पहचानने के लिए बनाया गया है कि वास्तव में कौन से कारक मायने रखते हैं, एकल सफलता दर की रिपोर्टिंग के बजाय। यह महत्वपूर्ण है क्योंकि वर्तमान एजेंट बेंचमार्क भाग्य को पुरस्कृत करते हैं: एक एजेंट एक बार एक अच्छा मॉडल हिट कर सकता है और एकल रन पर मजबूत दिख सकता है, और समुदाय उस सफलता को साक्ष्य के रूप में मान लेता है।

निर्माताओं के लिए, यह एक लीडरबोर्ड नहीं बल्कि एक मापन आदिम है। आप अपने स्वयं के एजेंट पाइपलाइन के चारों ओर ढांचा लगा सकते हैं ताकि प्रॉम्प्ट वेरिएंट, टूल बजट, या मॉडल स्वैप को उसी कार्य के विरुद्ध तनाव-परीक्षण किया जा सके और एकल बिंदुओं के बजाय विचरण बैंड प्राप्त कर सकें। अगला देखें: जब लेखक पूर्ण एब्लेशन टेबल और प्रति-कारक प्रभाव आकार जारी करते हैं, तो वे संख्याएं समुदाय को बताएंगी कि कौन से नॉब वास्तव में स्वायत्त खोज को चलाते हैं — और कौन से केवल जीत के रूप में प्रस्तुत शोर हैं।

[16:23] RuBench 1.0 कोडिंग एजेंट्स का परीक्षण Native-Russian रिपॉजिटरी फिक्सेस पर करता है

एक नया रिपॉजिटरी-स्तरीय एजेंटिक कोडिंग बेंचमार्क आज arXiv (2607.06411) पर Evgeny Shilov द्वारा जारी किया गया है, और यह एजेंट eval स्पेस के एक कोने को संबोधित करता है जो अधिकांश सुइट्स अनदेखा करते हैं। RuBench 1.0 पांच लाइव ओपन-सोर्स रिपॉजिटरी में हाल के फिक्स कमिट्स से खोदे गए 25 कार्य प्रदान करता है: Python में aiohttp और aiogram, PHP में Laravel, TypeScript और JavaScript में NestJS और Fastify। बेंचमार्क को अलग बनाने वाली बात spec प्रारूप है। प्रत्येक कार्य कथन Russian में शुरू से लिखा गया है, एक ग्राहक अनुरोध की शैली में जो एक डेवलपर वास्तव में प्राप्त करेगा — अनुवादित अंग्रेज़ी issue को वापस नहीं। तंत्र सीधा लेकिन स्पष्ट है। Shilov वास्तविक फिक्स कमिट्स निकालते हैं, फिर किसी की आवाज़ में Russian कार्य विवरण लिखते हैं जो एक मैनेनटेनर को bug की रिपोर्ट कर रहा है। eval वास्तविक हैंडऑफ को कैप्चर करता है: एक गैर-अंग्रेज़ी-बोलने वाला डेवलपर अपनी कार्यरत भाषा में एक issue दर्ज करता है, एजेंट को वास्तविक repo में localize करना, पढ़ना और एक फिक्स लागू करना होता है। वह अंतर मायने रखता है क्योंकि अधिकांश रिपॉजिटरी-स्तरीय एजेंटिक बेंचमार्क डिज़ाइन द्वारा अंग्रेज़ी कार्य कथन मानते हैं, इसलिए अनुवादित बॉयलरप्लेट के लिए tune किए गए मॉडल प्राकृतिक-भाषा हैंडऑफ को पूरी तरह से छोड़ देते हैं। एजेंट बिल्डर्स के लिए, RuBench 1.0 एक क्रॉस-लैंग्वेज eval प्लग-इन के रूप में कार्य करता है। 25-कार्य सुइट छोटा लेकिन लक्षित है: यह localization, कोड समझ, और पैच जनरेशन का परीक्षण करता है जब प्रॉम्प्ट Russian में हो, जो अंग्रेज़ी-केवल eval में छूटे कमजोरियों को उजागर करता है। मल्टीलिंगुअल इंजीनियरिंग संगठनों में कोडिंग एजेंट शिप करने वाली टीमें इसका उपयोग उस issue-in-working-language, fix-in-the-repo पैटर्न को मान्य करने के लिए कर सकती हैं जो वास्तविक मेंटेनेंस कार्य वास्तव में अपनाता है। पेपर में मुख्य संख्या बेंचमार्क का आकार है — पांच रिपॉजिटरी और चार भाषाओं में 25 कार्य — और ठोस योगदान स्वयं Russian-लिखित spec प्रारूप है। अन्य भाषाओं तक मूल रूप से लिखित पैटर्न का विस्तार करने वाले अनुवर्ती सुइट्स पर ध्यान दें, और एजेंट वेंडर्स पर एक मल्टीलिंगुअल क्षमता सिग्नल के रूप में RuBench पर अपने स्कोर प्रकाशित करते हैं।

[18:16] Anthropic डेवलपर रिलेशंस घर्षण और फ्रंटियर मॉडल API माइग्रेशन में स्थिरता अंतर

फ्रंटियर मॉडल विकास का परिदृश्य Anthropic के हालिया संचालनात्मक बदलावों को नेविगेट करने वाले बिल्डर्स के रूप में एक घर्षण बिंदु पर पहुंच गया है। जबकि मॉडल स्वयं SWE-bench जैसे बेंचमार्क पर जारी हैं, डेवलपर अनुभव वर्तमान में कई ब्रेकिंग चेंजेस और स्थिरता चुनौतियों की विशेषता है। प्राथमिक तकनीकी बाधा legacy Text Completions API से नए Messages API में माइग्रेशन में शामिल है। यह सिर्फ एक syntax परिवर्तन नहीं है; यह एक अनुमान कॉल के दौरान स्थिति प्रबंधन के तरीके में एक मूलभूत बदलाव को शामिल करता है। उदाहरण के लिए, Messages API एक विशिष्ट संरचना लागू करता है जहां सिस्टम प्रॉम्प्ट एक शीर्ष-स्तरीय पैरामीटर के रूप में संभाले जाते हैं, message array में शामिल करने के बजाय, जो अप्रत्याशित मॉडल व्यवहार की ओर ले जा सकता है यदि तर्क को पुराने पैटर्न से सही ढंग से फिर से मैप नहीं किया गया है।

इसके अलावा, डेवलपर समुदाय ने API हेडर्स के माध्यम से रेट लिमिट्स और संदर्भ विंडो उपयोग के संचार के तरीके में समस्याओं की पहचान की है। अन्य प्रदाताओं के विपरीत जो प्रति अनुरोध टोकन खपत के लिए स्पष्ट इंस्ट्रूमेंटेशन प्रदान करते हैं, Anthropic के कार्यान्वयन में असंगतियाँ दिखी हैं जो स्वायत्त एजेंट्स के लिए वास्तविक समय में अपने स्वयं के बजट और विंडो बाधाओं को प्रबंधित करना कठिन बनाती हैं। यह विशेष रूप से उन लंबे-चलने वाले एजेंटिक वर्कफ़्लो के लिए समस्याग्रस्त है जो 200k टोकन विंडो पर उच्च-संदर्भ पुनर्प्राप्ति पर निर्भर करते हैं। जब Claude 3.5 Sonnet जैसा मॉडल पिछले संस्करण को बदलता है, तो अपडेटेड attention mechanisms के कारण पुनर्प्राप्ति व्यवहार बदल जाता है, जिससे अक्सर उसी सटीकता के स्तर को बनाए रखने के लिए सिस्टम निर्देशों को पूरी तरह से फिर से लिखने की आवश्यकता होती है।

बिल्डर्स के लिए, इसका मतलब है कि मॉडल बदलने की लागत सिर्फ API key बदलने से अधिक है; इसमें प्रॉम्प्ट पदानुक्रम और टोकन ओवरफ्लो के लिए त्रुटि-हैंडलिंग लॉजिक का गहन ऑडिट शामिल है। हम अधिक रक्षात्मक कोडिंग पैटर्न की ओर देख रहे हैं, जहां डेवलपर्स प्रतिक्रिया प्रारूप और सिस्टम प्रॉम्प्ट इंजेक्शन को सामान्य बनाने के लिए Anthropic SDK को कस्टम अमूर्तताओं में लपेट रहे हैं। आगे बढ़ते हुए, Console UI के अपडेट और संस्करण नीति के लिए अधिक मानकीकृत दृष्टिकोण के लिए आधिकारिक Anthropic स्थिति पृष्ठ पर ध्यान दें, ताकि प्रोडक्शन डिप्लॉयमेंट में वर्तमान घर्षण को कम किया जा सके।

[20:22] VAORA VLM रीज़निंग रिवॉर्ड को विज़ुअल और एक्शन टर्म्स में विभाजित करता है

ArXiv पेपर 2607.06522, जिसके लेखक Han-Jun Ko, Jr-Jen Chen, और Haobo Yuan हैं, विज़न-लैंग्वेज मॉडल में एक विशिष्ट विफलता मोड को लक्षित करता है। जब किसी एजेंट को अनसीन टास्क और वातावरण में भौतिक इंटरैक्शन के बारे में तर्क करना होता है, तो चेन-ऑफ-थॉट स्क्रीन पर जो वास्तव में है उससे और एजेंट के अपने एक्शन से जो उत्पन्न होगा उससे भटक जाता है, और मॉडल ऐसे तर्क का भ्रम (hallucination) करता है जो भौतिक वास्तविकता का खंडन करता है। टीम ने फिक्स को VAORA के रूप में प्रस्तुत किया है, जो Visual Action Outcome Reasoning Alignment का संक्षिप्त रूप है, और यह सामान्य रिवॉर्ड को दो पूरक सिग्नल के साथ बदलकर काम करता है।

पहला है Visual Alignment Reward। इसमें यह नहीं आंकिया जाता कि मॉडल की व्याख्या अलगाव में सुनने में यथार्थपूर्ण लगती है या नहीं, बल्कि यह व्याख्या को दृश्य में वास्तव में दिखाई देने वाली चीज़ों से जोड़ता है, एजेंट के एक्शन से अलग। दूसरा सिग्नल आंकता है कि व्याख्या सही ढंग से भविष्यवाणी करती है कि एजेंट जो एक्शन लेने वाला है उसका परिणाम क्या होगा। एक साथ वे दोनों विफलता मोड को एक साथ दंडित करते हैं: भ्रमित तर्क जो फ्रेम का खंडन करता है, और तर्क जो एक्शन जो करेगा उससे मेल नहीं खाता। इन्हें अलग करना महत्वपूर्ण है क्योंकि एक ही संयुक्त रिवॉर्ड प्रवृत्त होती है कि यह धुला दे कि किसी दिए गए rollout पर वास्तव में कौन सा अक्ष विफल हो रहा है।

VLMs को टूल यूज़, ब्राउज़र कंट्रोल, या किसी भी एजेंट लूप के लिए प्रशिक्षित करने वाले बिल्डर्स के लिए, निहितार्थ यह है कि रिवॉर्ड डिज़ाइन को एक स perception-grounded टर्म और एक एक्शन-कंसीक्वेंस टर्म में विभाजित किया जा सकता है, एक एकल संयुक्त स्कोर के बजाय। इससे मूल्यांकन के दौरान विफलताओं को परसेप्शन या प्लानिंग में आसानी से श्रेय देना संभव होता है, बजाय इसके कि एक विफलता मोड दूसरे को मास्क करने दे।

आगे देखने योग्य: क्या VAORA का दो-रिवॉर्ड स्प्लिट पेपर के इंटरैक्टिव फिजिकल रीज़निंग बेंचमार्क से जनरल कंप्यूटर-यूज़ और वेब-एजेंट इवैल्यूएशन में ट्रांसफर होता है, और विज़ुअल एलाइनमेंट टर्म कैसे टिकता है जब विज़ुअल कॉन्टेक्स्ट किसी सिमुलेटेड सीन के बजाय किसी UI का स्क्रीनशॉट हो।

[22:19] GitHub AI Agent Prompt Injection Leaks Private Repo Contents

GitHub का AI एजेंट, जो Copilot Chat और नए Workspace अनुभव को संचालित करता है, एक दो-स्टेप प्रॉम्प्ट-इंजेक्शन चेन के माध्यम से प्राइवेट रिपॉजिटरी की सामग्री प्रकट करने के लिए मजबूर किया जा सकता है। पहले, एक हमलावर एक कमेंट बनाता है जिसमें कोड सारांश के लिए एक साधारण-दिखने वाला अनुरोध शामिल है लेकिन एक डेलिमिटर एम्बेडेड है जो एजेंट के टूल-सेलेक्शन लॉजिक को गलत तरीके से उसके आंतरिक search/code एंडपॉइंट को वाइल्डकार्ड क्वेरी के साथ इनवोक करने के लिए मजबूर करता है जो टारगेट रिपो में हर फाइल से मेल खाती है, जिससे वह परमिशन चेक बायपास हो जाता है जो सामान्यतः परिणामों को पब्लिक कोड तक सीमित रखता है। दूसरे, एक बार जब सर्च ब्लॉब आइडेंटिफायर लौटाता है, तो एजेंट रॉ फाइल ब्लॉब्स लाने के लिए repos/{owner}/{repo}/contents/{path} REST API को कॉल करता है, और उन्हें चैट रिस्पॉन्स में स्ट्रीम करता है जैसे वे सामान्य असिस्टेंट आउटपुट हों। एक्सप्लॉइट एजेंट के क्रमिक टूल-कॉल लूप पर निर्भर करता है: परमिशन गार्ड पहले टूल कॉल से पहले चलता है लेकिन सर्च रिजल्ट्स लौटने के बाद फिर से नहीं आंकिया जाता, जिससे दूसरी कॉल को एलिवेटेड स्कोप इनहेरिट करने की अनुमति मिलती है। Nomao Security ने एक टेस्ट ऑर्गनाइजेशन के स्वामित्व वाले प्राइवेट रिपो से README और एक सोर्स फाइल निकालकर लीक का प्रदर्शन किया, जिससे पुष्टि हुई कि हमलावर को केवल किसी पब्लिक इश्यू या पुल रिक्वेस्ट पर एक कमेंट पोस्ट करने की जरूरत थी। बिल्डर्स के लिए, इसका मतलब है कि किसी भी वातावरण को जो भाषा-मॉडल एजेंट को व्यापक टूल एक्सेस के साथ एक्सपोज़ करता है, सिर्फ सेशन की शुरुआत में नहीं बल्कि प्रत्येक टूल इनवोकेशन के बाद री-ऑथराइज़ेशन लागू करना चाहिए। टीमों को अपने एजेंट कॉन्फ़िगरेशन की ऑडिट करनी चाहिए, किसी भी सर्च या फाइल-रीड टूल की स्कोप कसनी चाहिए, और एजेंट कॉल्स को प्रॉक्सी के पीछे सैंडबॉक्स करने पर विचार करना चाहिए जो स्पष्ट रूप से अनुमति नहीं दिए जाने तक रिपॉजिटरी-लेवल टोकन स्ट्रिप करता है। GitHub के आगामी पैच पर नज़र रखें जो प्रत्येक टूल कॉल से पहले रिपॉजिटरी परमिशन का री-चेक जोड़ता है, और समुदाय-संचालित स्कैनर्स पर जो एजेंट लॉग में असामान्य टूल-कॉल पैटर्न का पता लगाते हैं।

[24:08] Early-Failure Probes Cut Wasted Compute in Agent Loops

Kai Ruan, Zihe Huang, और Ziqi Zhou का एक नया arXiv पेपर एजेंट लूप में सबसे महंगे विफलता मोड में से एक को लक्षित करता है: ट्रैजेक्टरीज़ जो उत्पादक दिखती हैं जबकि एजेंट एक ऐसे पथ पर कंप्यूट बर्न कर रहा है जो वैसे भी विफल होगा। पेपर, 2607.06503, एक रिकॉल-कंट्रोल्ड प्रोब कैस्केड पेश करता है जो एजेंट के आउटपुट को स्कोर करने के बजाय सीधे उसके छिपे हुए एक्टिवेशन को पढ़ता है।

मुख्य मैकेनिज्म एक हल्का प्रति-राउंड क्लासिफायर प्रोब है जो मॉडल के आंतरिक प्रतिनिधित्व पर प्रशिक्षित है। प्रत्येक इंटरैक्शन राउंड पर, प्रोब एक फेलियर-लिकलीहुड सिग्नल उत्सर्जित करता है जो वितरण-मुक्त तरीके से कैलिब्रेटेड होता है ताकि एक ही थ्रेशोल्ड बिना प्रति-डेटासेट रीट्यूनिंग के टास्क में यात्रा कर सके, और एक कंट्रोलर उस सिग्नल का उपयोग एपिसोड को रोकने के लिए करता है इससे पहले कि वह और आगे सर्पिल में जाए। हेडलाइन परिणाम: प्रोब पहले इंटरैक्शन राउंड पर ही अभिशप्त ट्रैजेक्टरीज़ को फ्लैग करता है, जबकि स्कोरर जो केवल एजेंट के ऑब्ज़र्वेबल व्यवहार को देखते हैं उसी बिंदु पर मुट्ठी भर बेहतर हैं। दूसरे शब्दों में, फेलियर सिग्नल टेक्स्ट स्ट्रीम में आने से बहुत पहले एक्टिवेशन के अंदर मौजूद होता है।

मल्टी-स्टेप एजेंट चलाने वाले बिल्डर्स के लिए, यह क्षमता अपग्रेड के बजाय कॉस्ट-कंट्रोल प्रिमिटिव है। इस तरह का कैस्केड आपको एजेंट को राइटराइट किए बिना खोए हुए कारणों पर इन्फरेंस स्पेंड की सीमा लगाने देता है, दृश्यमान त्रुटियों या रन-एंड स्कोरिंग सिग्नल की प्रतीक्षा करने के बजाय आंतरिक-स्टेट प्रोब पर लूप को गेट करके। यह मायने रखता है क्योंकि कंप्यूट बर्बाद होता है डेड-एंड पाथ पर भले ही एजेंट अंततः एक सुसंगत-दिखने वाला अंतिम उत्तर लौटाए।

दो चीजें हैं जिन पर आगे नज़र रखना है: क्या प्रोब मॉडल परिवारों में ट्रांसफर होता है और ट्रेनिंग डिस्ट्रिब्यूशन से परे स्केल करता है, और क्या वेंडर्स रियल प्रोडक्शन स्टैक्स में कैस्केड चलाने के लिए ज़रूरी एक्टिवेशन-लेवल हुक एक्सपोज़ करते हैं। तब तक, यह पेपर सबसे स्पष्ट प्रदर्शन है कि अर्ली-फेलियर डिटेक्शन एजेंट स्टैक की कोस्ट लेयर में आता है।

[25:56] DepthWeave-KV Brings Adaptive Cross-Layer KV Sharing to Long Context

लॉन्ग-कॉन्टेक्स्ट इंफरेंस एक ही दीवार से टकराता रहता है: जैसे ही कॉन्टेक्स्ट कुछ लाख टोकन से आगे बढ़ता है, की-वैल्यू कैश मॉडल वेट्स से ज़्यादा मेमोरी खाता है, और मौजूदा कम्प्रेशन तरीके हर लेयर और टोकन के साथ एकसमान व्यवहार करते हैं। Anna Cordoba, Adam Puente Tercero, और Nerea Angulo Hijo द्वारा एक नया arXiv पेपर, नंबर 2607.06523, DepthWeave-KV के साथ एक अलग एंगल लेता है। ट्रांसफॉर्मर लेयर्स में एकसमान बजट के बजाय, DepthWeave-KV साझा लो-रैंक चैनल बेसिस का उपयोग करके पड़ोसी लेयर्स में की और वैल्यू स्टेट्स को फैक्टराइज़ करता है। साझा बेसिस उन एक्टिवेशन्स को अवशोषित करता है जो लेयर्स के बीच बमुश्किल बदलते हैं। इसके ऊपर, मेथड हल्के टोकन-स्पेसिफिक रेजिडुअल्स रखता है, लेकिन सिर्फ वहाँ जहाँ अटेंशन बिहेवियर सेंसिटिव होती है — उन बिट्स को एंकर करता है जिनकी लेक्सिकल लुकअप्स और रिट्रीवल हेड्स को ज़रूरत होती है। वह स्प्लिट ही की मुख्य मूव है। टोकन जो ज़्यादातर सेमांटिक स्टेट में योगदान करते हैं, लेयर्स में आज़ादाई से शेयर करते हैं; टोकन जो रिट्रीवल या कॉपी बिहेवियर में योगदान करते हैं, अपना संकीर्ण रेजिडुअल स्लॉट रखते हैं। ऑथर्स इसे टोकन-एडाप्टिव कहते हैं क्योंकि रेजिडुअल बजट एक वैश्विक नॉब के बजाय प्रति टोकन एक अटेंशन-सेंसिटिविटी सिग्नल द्वारा स्टीयर किया जाता है। लॉन्ग-कॉन्टेक्स्ट एजेंट्स चलाने वाले बिल्डर्स के लिए, निहितार्थ ठोस है। मल्टी-आवर कोडिंग सेशन, रिपॉजिटरी-स्केल कोड रिट्रीवल, और सैकड़ों हज़ारों टोकन की टूल-कॉल ट्रेस, हर एक KV कैश पर वर्किंग-सेट पेनल्टी की कीमत चुकाते हैं। एक मेथड जो एडाप्टिवली कम्प्रेस करती है — रेडंडेंट इंटर-लेयर स्टेट शेयर करते हुए जबकि उन टोकन्स को प्रिज़र्व करती है जो रिट्रीवल को एंकर करते हैं — सीधे तौर पर यह तय करती है कि एक इंफरेंस एंडपॉइंट एक ही HBM बजट से कितना बड़ा कॉन्टेक्स्ट विंडो सर्व कर सकता है, और एक GPU कितने कंकरेंट लॉन्ग-रनिंग एजेंट सेशन्स होल्ड कर सकता है। वॉच-नेक्स्ट आइटम यह है कि क्या फैक्टराइज़्ड स्टेट को इंक्रीमेंटली स्ट्रीम किया जा सकता है, और क्या vLLM या TensorRT-LLM जैसे सर्विंग रनटाइम्स पेज्ड अटेंशन को ब्रेक किए बिना शेयरिंग पैटर्न अपना सकते हैं। पेपर 6 जुलाई को आया था; अगला टेस्ट यह है कि क्या वही कम्प्रेशन रेशियो बीयर रिट्रीवल बेंचमार्क्स के अलावा बीम सर्च और टूल-कॉलिंग वर्कलोड्स में भी बना रहता है।

[27:51] Practical queue

आज की स्टोरीज़ से: बिल्डर्स के लिए इसका मतलब है कि एक फ्रेश Codex इंस्टॉल अब रिमोट प्लगइन्स उठाता है और होस्ट की सिस्टम प्रॉक्सी स्टैक के ज़रिए रूट करता है बिना पर-टीम कॉन्फ़िगरेशन के, जो सबसे आम कॉर्पोरेट-नेटवर्क फ्रिक्शन हटा देता है। इंटरैक्टिव फिक्शन, NPC डायलॉग, या टेबलटॉप असिस्टेंट्स शिप करने वाले बिल्डर्स के लिए, यह एक ड्रॉप-इन ऑप्शन है जो पर्सोना कंटीन्यूटी को इंटरनली हैंडल करता है बजाय प्रॉम्प्ट इंजीनियरिंग पर निर्भर रहने के। इसका मतलब है कि बिल्डर्स वॉयस सिंथेसिस को क्लाउड से बाहर मूव कर सकते हैं वॉयस-टू-वॉयस एजेंट लूप्स में API कॉस्ट्स और नेटवर्क लेटेंसी एलिमिनेट करने के लिए। बिल्डर्स के लिए इसका मतलब है कि इंटरप्रेटेबिलिटी वर्क एक पूरे रेजिडुअल स्ट्रीम को स्कैन करने के बजाय एक स्पेसिफिक हेड क्लास को टारगेट कर सकता है, जो सर्किट-लेवल स्टीयरिंग और प्रोब डिज़ाइन के लिए सर्च स्पेस को श्रिंक करता है। प्रोप्राइटरी कोडबेस और प्रोडक्ट स्पेक्स को चैट क्लाइंट के ज़रिए सुरक्षित रूप से रूट करने का मूल्यांकन करने वाले बिल्डर्स के लिए, Rowboat एक लोकल-फर्स्ट, BYOK पाथ ऑफर करता है जो स्टेट को वेंडर क्लाउड के बजाय आपके खुद के डिस्क पर रखता है। यह रिसर्च सुझाव देती है कि एडजेसेंट ट्रांसफॉर्मर लेयर्स रेडंडेंट इन्फॉर्मेशन शेयर करती हैं जिसका इंफरेंस-टाइम ऑप्टिमाइज़ेशन के लिए एक्सप्लॉइट किया जा सकता है। मल्टी-एजेंट स्टैक्स फिलहाल मैसेज पासिंग या वेक्टर स्टोर्स पर निर्भर हैं, जो फैक्ट ग्राफ की तरह क्लेम-लेवल डिपेंडेंसीज़ सर्फेस नहीं करते। ओपन-एंडेड मॉडलिंग टास्क पर एक सिंगल एजेंट रन से पॉइंट एस्टिमेट्स वो नॉइज़ हैं जिसपर आप एक्शन नहीं ले सकते, इसीलिए पेपर का रिपीटेड-ट्रायल फ्रेमवर्क एजेंट पाइपलाइन शिप करने वाले हर किसी के लिए मायने रखता है। गैर-अंग्रेज़ी बोलने वाली टीमों को कोडिंग एजेंट्स शिप करने वाले बिल्डर्स के लिए, RuBench 1.0 एक्सपोज़ करता है कि उनका मॉडल रूसी में कस्टमर-स्टाइल स्पेक पर कितना अच्छा है, जो एक सेटिंग है जो ज़्यादातर करंट इवैल्स स्किप करते हैं। यह शिफ्ट का मतलब है कि टीम्स को प्रॉम्प्ट लॉजिक के लिए सख्त रिग्रेशन टेस्टिंग इम्प्लीमेंट करनी होगी जब भी मॉडल वर्जन्स अपडेट हों ताकि सिस्टम इंस्ट्रक्शन्स अभी भी इंटेंडेड टूल-कॉलिंग बिहेवियर ट्रिगर करें। इसका मतलब है कि एजेंट-लूप VLMs के लिए इनसेंटिव डिज़ाइन एक सिंगल कंबाइंड स्कोर में कॉलैप्स नहीं होना चाहिए, क्योंकि एक परसेप्शन-ग्राउंडेड टर्म और एक एक्शन-कंसीक्वेंस टर्म को इंडिपेंडेंटली ट्रेन और इंस्पेक्ट किया जा सकता है। इसका मतलब है कि ब्रॉड टूल एक्सेस वाले किसी भी लैंग्वेज-मॉडल एजेंट की डिप्लॉयमेंट को सेशन स्टार्ट पर ही नहीं बल्कि हर टूल इनवोकेशन के बाद परमिशन्स का री-इवैल्यूएशन करना होगा। बिल्डर टीम्स के लिए इसका मतलब है: एजेंट कोस्ट कंट्रोल आउटपुट स्क्रैपिंग से हटकर एक्टिवेशन-लेवल प्रोब्स पर जा सकता है जो इंफरेंस लूप के अंदर फायर करते हैं। बिल्डर्स के लिए इसका मतलब है कि लॉन्ग-कॉन्टेक्स्ट एजेंट इंफरेंस KV वर्किंग-सेट साइज पर बॉटलनेक्ड है पैरामीटर काउंट के बजाय, इसलिए कोई भी कम्प्रेशन जो रिट्रीवल-क्रिटिकल टोकन प्रिज़र्व करता है सर्विंग कॉस्ट्स पर सीधा डॉलर-एंड-थ्रूपुट लीवरेज रखता है।