Hermes एजेंट v2026.7.7, ओपनएआई Codex rust-v0.143.0, Claude Code 2.1.197, एआईओन-3.0-छोटा
Hermes Agent ships v2026.7.7, OpenAI Codex lands rust-v0.143.0, and Claude Code CLI rolls out 2.1.197. AionLabs releases Aion-3.0-Mini roleplay model on OpenRouter. Kokoro delivers high-fidelity TTS on low-power CPUs. Rowboat hits 162 points on Show HN as a local-first Claude Desktop rival. GitHub AI agent prompt injection leaks private repo contents. Early-failure probes cut wasted compute in agent loops. Plus Danus, FreqDepthKV, DepthWeave-KV, RuBench 1.0, VAORA, and Anthropic developer-relations friction around API migration.
🎧 Listen to Episodeएपिसोड 083 — 8 जुलाई, 2026
[00:00] एपिसोड हुक
Agent Stack Release Readout में Hermes Agent अपडेट, OpenAI Codex rust, और Claude Code CLI 2.1.197 की विशेषताओं पर प्रकाश डाला गया है। Hermes Agent v2026.7.7 बेसलाइन पर अपडेट होता है, जो इसके टूल-कॉलिंग पाइपलाइन और ऑब्ज़र्वेबिलिटी हुक में सुधार लाता है। OpenAI का Codex rust कई डिफ़ॉल्ट सेटिंग्स बदलता है, जिससे npm marketplace catalog से रिमोट प्लगइन्स डिफ़ॉल्ट रूप से लोड होते हैं और रिमोट-फर्स्ट डायग्नोस्टिक्स उपलब्ध होते हैं। Claude Code CLI 2.1.197 कठोर सैंडबॉक्स नियंत्रण, बेहतर टेलीमेट्री, और deterministic reason-step लॉगिंग के लिए एक नया फ्लैग जोड़ता है। ये सभी रिलीज़ मिलकर Agent Stack की प्रोडक्शन एजेंट्स के लिए रिलायबिलिटी फीचर्स को तेज करती हैं, जबकि मौजूदा वर्कफ़्लो के लिए अपग्रेड पाथ सहज रखती हैं। डेवलपर्स Agent Stack CLI के ज़रिए तुरंत नई सुविधाओं का परीक्षण कर सकते हैं, जो अब v2026.7.7 बेसलाइन पर डिफ़ॉल्ट है और एक-फ्लैग अपग्रेड पाथ प्रदान करता है जो मौजूदा कॉन्फ़िगरेशन को सुरक्षित रखता है और बेहतर रिमोट-प्लगइन वर्कफ़्लो तथा कठोर Claude Code सुरक्षा उपायों को अनलॉक करता है।
[02:00] Agent Stack Release Readout: Hermes Agent v2026.7.7.2; OpenAI Codex rust-v0.143.0; Claude Code CLI 2.1.197
OpenAI ने 8 जुलाई को Codex rust-v0.143.0 जारी किया, एक रिलीज़ जो कई डिफ़ॉल्ट बदलती है और एजेंट हार्नेस में पहले से मिसिंग फर्स्ट-क्लास इंटीग्रेशन जोड़ती है। मुख्य बदलाव रिमोट प्लगइन्स का डिफ़ॉल्ट रूप से एनेबल होना है — प्रत्येक Codex इंस्टॉल अब npm marketplace catalog से प्लगइन्स लोड करता है, समृद्ध catalog पंक्तियाँ दिखाता है, और रिमोट और लोकल वर्शन को साथ-साथ दिखाता है ताकि आप देख सकें जब लोकल इंस्टॉल रिमोट बिल्ड द्वारा shadowed हो। यह प्लगइन डिस्कवरी को opt-in से बेसलाइन व्यवहार में बदल देता है और curated प्लगइन डायरेक्टरी को कोर इंस्टॉल पाथ में लाता है।
दूसरा महत्वपूर्ण तंत्र सिस्टम प्रॉक्सी रूटिंग है। Codex अब macOS और Windows सिस्टम प्रॉक्सी के ज़रिए authentication और Responses API ट्रैफ़िक push कर सकता है, जिसमें PAC फ़ाइलें और WPAD डिस्कवरी शामिल हैं, जिसका अर्थ है कि authenticated proxies के पीछे कॉर्पोरेट यूज़र को Codex को OpenAI या Bedrock से बात करने के लिए सिस्टम स्टैक को बायपास करने की आवश्यकता नहीं है। नए codex remote-control pair कमांड के साथ जोड़ें, जो चल रहे daemon से मैनुअल पेयरिंग कोड जेनरेट करता है, और आपके पास air-gapped या shared-host सेटअप के लिए websocket सत्र में सीधे जाए बिना उपयोगी रिमोट-कंट्रोल फ़्लो है।
मॉडल की दृष्टि से, rust-v0.143.0 Amazon Bedrock GPT-5.6 Sol, Terra, और Luna को max reasoning effort के साथ फर्स्ट-क्लास विकल्प के रूप में जोड़ता है, ताकि Bedrock पर पहले से provisioned टीमें direct OpenAI ग्राहकों के समान reasoning tier पा सकें। MCP भी एक व्यवहार परिवर्तन प्राप्त करता है: टूल सर्च अब डिफ़ॉल्ट रूप से चालू है, और ChatGPT-hosted MCP सर्वर session authentication में शामिल हो सकते हैं, जिसका अर्थ है टूल डिस्कवरी के लिए कम राउंड-ट्रिप और hosted सर्वर के लिए स्थिर session-scoped credentials। App-server क्लाइंट्स को environment inspection, descendant thread लिस्टिंग, और specific turn के ज़रिए history fork मिलती है, जो app-server इंटरफ़ेस को कुछ ऐसा बनाता है जिसके ऊपर आप शेड्यूलिंग और रीप्ले टूलिंग बना सकते हैं।
बिल्डर्स के लिए व्यावहारिक निहितार्थ यह है कि प्लगइन और प्रॉक्सी घर्षण लगभग शून्य हो जाता है। एक नया Codex इंस्टॉल रिमोट प्लगइन्स उठाता है और OS द्वारा पहले से ट्रस्ट किए गए जो भी प्रॉक्सी के माध्यम से रूट करता है, तो पिछला 'मेरी मशीन पर काम करता है, corp proxy के पीछे टूट जाता है' फेलियर मोड बड़े पैमाने पर खत्म हो जाता है। अगली रिलीज़ पर ध्यान दें कि क्या टूल सर्च डिफ़ॉल्ट और session-scoped MCP auth hosted MCP सर्वर पर प्रति-रिक्वेस्ट auth पर निर्भर per-request auth पर प्रतिगमन लहर लाता है, और क्या Bedrock GPT-5.6 Luna को अलग प्राइसिंग टायर नोट मिलता है।
[03:35] AionLabs OpenRouter पर Aion-3.0-Mini Roleplay Model जारी करता है
AionLabs ने इस सप्ताह OpenRouter पर Aion-3.0-Mini जारी किया, एक roleplay और storytelling मॉडल जो इंटरैक्टिव फिक्शन, NPC डायलॉग, और tabletop-style असिस्टेंट के लिए बनाया गया है। सिस्टम DeepSeek फैमिली पर बना है और 131,072-token context window एक्सपोज़ करता है, जो persona memory, संचित lore, और serialized session history को बिना बाहरी retrieval या vector stores के पूरी तरह prompt के अंदर रखने के लिए पर्याप्त जगह है।
हुड के तहत, मॉडल एक सहयोगी जनरेशन पाइपलाइन चलाता है। कई विशेषज्ञ भूमिकाएं प्रत्येक कथा वर्कफ़्लो का एक हिस्सा लेती हैं — दृश्य फ्रेमिंग, चरित्र आवाज़, और निरंतरता ट्रैकिंग अलग-अलग पास के रूप में काम करती हैं — और आउटपुट एक सिंथेसिस स्टेज के माध्यम से विलय होते हैं जो अंतिम रिप्लाय उत्पन्न करता है। बिल्डर्स के लिए, इसका मतलब है कि एक एकल API कॉल डायलॉग लौटाती है जो पहले से ही उन परतदार जिम्मेदारियों को दर्शाती है, न कि प्रॉम्प्ट इंजीनियरिंग पर भरोसा करके समान पृथक्करण का नाटक करती है।
OpenRouter मॉडल को अपने स्टैंडर्ड चैट कम्प्लीशंस एंडपॉइंट के माध्यम से उजागर करता है, इसलिए कोई भी OpenAI-संगत क्लाइंट बिना कोड परिवर्तन के इस पर पॉइंट कर सकता है। DeepSeek-व्युत्पन्न बेस भी इसका मतलब है कि मॉडल बॉक्स के बाहर से बहुभाषी सहायता प्राप्त करता है, जो अनुवादित या क्रॉस-लोकेल कैंपेन के लिए मायने रखता है। प्राइसिंग, रेट लिमिट्स, और प्रति-टोकन लागत OpenRouter कैटलॉग पेज पर उपलब्ध हैं और मार्केटप्लेस के सामान्य बिलिंग मॉडल का पालन करती हैं।
लंबी इंटरैक्टिव सत्रों के लिए वर्कफ़्लोज़ के लिए, 131K कॉन्टेक्स्ट मध्यम कैंपेन के लिए बाहरी मेमोरी की आवश्यकता को दूर करता है, और रोल-आधारित आर्किटेक्चर यह सुझाव देता है कि सिस्टम वैनिला बेस मॉडल पर सिंगल-पास प्रॉम्प्टिंग की तुलना में चरित्र ड्रिफ्ट के प्रति अधिक मजबूत होगा। सिंथेसिस पास सिस्टम को रोल आउटपुट के बीच अंतर्विरोधों को समेटने का एक अंतर्निहित अवसर भी देता है, जो वह प्रकार की विफलता मोड है जो आमतौर पर लंबे सत्रों में सामने आती है। पर्सना संगति पर बेंचमार्क नंबरों और यह देखने के लिए देखें कि AionLabs पर-रोल इंटरमीडिएट आउटपुट को फाइन-ग्रेन्ड कंट्रोल के लिए कॉन्फ़िगरेबल नॉब्स के रूप में एक्सपोज़ करता है या नहीं।
[05:23] लो-पावर CPUs पर हाई क्वालिटी स्पीच डिलीवर करने वाला Kokoro के साथ लोकल हाई फिडेलिटी TTS
Kokoro उन डेवलपर्स के लिए एक महत्वपूर्ण ब्रेकथ्रू के रूप में उभरा है जो वॉयस-इनेबल्ड एजेंट बना रहे हैं जिन्हें प्राकृतिक-ध्वनि वाली स्पीच का त्याग किए बिना पूरी तरह से एज पर चलाने की आवश्यकता है। जबकि अधिकांश हाई-क्वालिटी टेक्स्ट-टू-स्पीच मॉडल को पर्याप्त VRAM और विशेष GPU हार्डवेयर की आवश्यकता होती है, Kokoro केवल 82 मिलियन पैरामीटर का उपयोग करके प्रोफेशनल-ग्रेड ऑडियो डिलीवर करता है। यह दक्षता मॉडल को स्टैंडर्ड लैपटॉप CPUs पर आराम से चलने की अनुमति देती है।
बिल्डर्स अब OpenAI या ElevenLabs जैसे क्लाउड-बेस्ड TTS प्रोवाइडर्स की विलंबता और लागत ओवरहेड से बच सकते हैं। मॉडल ने हाल ही में Ariya Hidayat द्वारा तकनीकी समीक्षाओं के बाद लोकप्रियता हासिल की है, जिसने 100 मेगाबाइट से कम की अविशिष्ट रूप से छोटी मेमोरी फुटप्रिंट में काम करते हुए हाई फिडेलिटी बनाए रखने की इसकी क्षमता को उजागर किया। यह इसे उन लोकल एजेंटिक वर्कफ़्लोज़ के लिए एक प्रमुख उम्मीदवार बनाता है जिन्हें बाहरी निर्भरताओं के बिना हाई-स्पीड ऑडियो जनरेशन की आवश्यकता होती है।
दो विशिष्ट तंत्र इस प्रदर्शन को चलाते हैं। पहला, मॉडल निष्पादन के लिए ONNX रनटाइम का उपयोग करता है, जो क्रॉस-प्लेटफॉर्म संगतता और अनुकूलित ऑपरेटर कर्नेल के माध्यम से गैर-GPU हार्डवेयर पर महत्वपूर्ण स्पीडअप सक्षम करता है। इसका मतलब है कि डेवलपर्स C++, Python, या Rust वातावरण में न्यूनतम घर्षण के साथ Kokoro को एकीकृत कर सकते हैं। यह प्रोडक्शन में जटिल CUDA वातावरण की आवश्यकता को प्रभावी रूप से हटाता है, डेस्कटॉप या मोबाइल एजेंटों के लिए डिप्लॉयमेंट स्टैक को सरल बनाता है।
दूसरा, आर्किटेक्चर एक स्टाइल-लैटेंट वेक्टर दृष्टिकोण का लाभ उठाता है जो बड़े ट्रांसफॉर्मर ब्लॉक्स की आवश्यकता के बिना विविध भावनात्मक प्रसन को अनुमति देता है। बेंचमार्क में, Kokoro मॉडल से दस गुना बड़े मॉडल के साथ प्रतिस्पर्धा करने वाला एक मीन ओपिनियन स्कोर प्राप्त करता है, रोबोटिक के बजाय मानव-जैसा लगने वाला 24kHz ऑडियो उत्पन्न करता है। यह विश्वसनीय और इमर्सिव एजेंट इंटरैक्शन के लिए आवश्यक हाई-क्वालिटी सिंथेसिस प्रदान करता है।
एजेंट बिल्डर्स के लिए, इसका मतलब है कि वॉयस इंटरैक्शन अब क्लाउड-ओनली फीचर नहीं है। आप अब प्राइवेसी-सेंसिटिव एप्लिकेशन्स या इंटरमिटेंट कनेक्टिविटी वाले वातावरण के लिए एक पूर्ण वॉयस-टू-वॉयस लूप को एक लोकल बाइनरी में पैकेज कर सकते हैं। आगे देखें, Kokoro इकोसिस्टम का अंग्रेज़ी और जापानी से परक अधिक विशेषज्ञ डोमेन में विस्तार, जिसमें अधिक भाषाओं के लिए सहायता शामिल है।
[07:17] एब्लेशन स्टडी चेन-ऑफ-थॉट कोहरेंस को कुछ वर्कस्पेस अटेंशन हेड्स पर पिन करती है
Anthropic ने "A global workspace in language models" शीर्षक से एक शोध पत्र प्रकाशित किया जो Global Workspace Theory के माध्यम से transformer inference को पुनः परिभाषित करता है - यह एक संज्ञानात्मक ढांचा है जिसमें विशेषज्ञ मॉड्यूल एक साझा workspace में प्रसारण करते हैं और प्रमुख सिग्नल downstream प्रोसेसिंग को संचालित करता है। पत्र तर्क देता है कि production models में reasoning, tool routing और context integration, workspace-style dynamics को standard transformer machinery पर परत बनाकर दर्शाते हैं, न कि केवल scale से उभरने वाले गुणों को। इस रिलीज़ ने 450 अंकों का Hacker News thread खींचा जिसमें builders और ML researchers ने interpretability work और agent design के लिए इस framing के मायने पर विचार किया।
पहला mechanism जिसे authors बताते हैं, वह specific attention heads और MLP circuits को GWT द्वारा भविष्यवाणी किए गए broadcast-and-competition pattern पर मैप करता है। Multi-step reasoning traces के दौरान, "workspace" heads की एक छोटी set intermediate results कोconsolidate करती है और उन्हें downstream layers को पुनः प्रसारित करती है; उन heads को ablate करने से chain-of-thought coherence zusammenbricht जबकि single-turn capability बड़े पैमाने पर बरकरार रहती है - एक behavioral dissociation जिसे authors central evidence मानते हैं। दूसरा mechanism एक routing signature है। जब model को एक tool-call decision का सामना करना पड़ता है, तो वही broadcast pattern heads में एक single dominant tool choice को surface करता है जो अन्यथा specialize करते हैं, GWT की winner-take-all भविष्यवाणी से मेल खाता है। पत्र यह भी रिपोर्ट करता है कि workspace-head activation math और code benchmarks पर token-level confidence के साथ सहसंबंधित है, जो builders को reasoning depth के लिए एक मापनीय proxy देता है।
Builders के लिए, operational signal यह है कि interpretability tooling full residual stream को scan करने के बजाय एक specific head class को target कर सकती है, जो circuit-level steering और probe design के लिए search space को कम करती है। HN discussion ने open-weight models पर broadcast-head identification को reproduce करने के प्रारंभिक प्रयासों को surface किया, और देखने की अगली concrete बात यह है कि Anthropic API के माध्यम से workspace-head activity expose करता है या नहीं, या यह कि independent reproductions Claude family के बाहर instruction-tuned checkpoints पर routing signature की पुष्टि करते हैं या नहीं।
[09:05] Show HN: Rowboat 162 points पर पहुंचा, local-first Claude Desktop rival के रूप में
Hacker News इस सप्ताह Rowboat के इर्दगिर्द चमका, Rowboat Labs से एक open-source project जो स्वयं को Anthropic के Claude Desktop का local-first alternative के रूप में बाज़ार करता है। पोस्ट 162 points पार कर गया और उस विषय पर ठोस चर्चा खींची कि एक self-hosted chat client को वाकई vendor के first-party desktop app के साथ प्रतिस्पर्धा के लिए क्या होना चाहिए।
पिच सीधी है: एक desktop client जहां conversation history, configuration और project context user's machine पर रहती है, hosted account system के माध्यम से sync नहीं करती। Rowboat Rowboat Labs org के तहत GitHub पर open-source है, और model connector कई providers को स्वीकार करता है, एक में lock नहीं करता। एक builder इसे Anthropic, एक OpenAI-compatible endpoint, या एक self-hosted model server पर point कर सकता है बिना client को rewrite किए। Claude Desktop के साथ interface parity जानबूझकर दिखती है - same project sidebar pattern, same conversation threading, same system prompt editor - ताकि एक switcher को muscle memory फिर से सीखने की ज़रूरत न पड़े।
यह एक specific workflow के लिए मायने रखता है। अगर आपने proprietary codebases, unreleased product specs, या customer data को hosted chat client में डालने में हिचकिचाहट महसूस की है क्योंकि data egress concerns हैं, तो BYOK semantics वाला एक local-first client trust boundary को आपके अपने disk पर shift कर देता है। HN thread ने early adopters को self-hosted model servers के साथ और Anthropic और OpenAI APIs के साथ अपनी own keys के साथ wire करते देखा, इसे एक thin orchestration shell के रूप में देखते हुए model product के बजाय।
दो चीजें देखने योग्य हैं: क्या maintainers production teams के लिए standardize करने लायक steady release cadence बनाए रख सकते हैं, और project tool-calling और MCP server integration को कैसे handle करता है। ये दो capabilities हैं जो एक chat toy को कुछ ऐसा बनाती हैं जिसमें एक engineering org वास्तव में commit कर सकती है।
[10:50] FreqDepthKV Optimized Long-Context KV Cache Compression के लिए Frequency-Guided Depth Sharing लाता है
AI coding agents को scale करने में प्राथमिक चुनौती remains long-context inference के दौरान KV cache की massive memory और bandwidth overhead। नए पेपर FreqDepthKV में, researchers Anna Córdoba, Adam Puente Tercero और Nerea Angulo Hijo एक novel inference-time compression method प्रस्तावित करते हैं जो इन costs को mitigate करने के लिए डिज़ाइन की गई है। arXiv 2607.06519 के रूप में featured, study Frequency-Guided Depth Sharing पेश करता है, जो large language models के adjacent layers में पाई जाने वाली inherent redundancy को target करता है। Aggressive pruning या quantization के विपरीत जो often complex multi-step reasoning के लिए आवश्यक fine-grained evidence को नष्ट कर देते हैं, FreqDepthKV KV states को shared low-frequency depth components और sparse high-frequency residuals में factorize करता है।
यह आर्किटेक्चर एक हल्के ऑनलाइन प्रोब का उपयोग करके एक ठोस तंत्र पर निर्भर करता है। यह प्रोब पुनर्निर्माण-संवेदनशील अटेंशन लॉगिट्स में उनके योगदान का मूल्यांकन करने के लिए वास्तविक समय में अटेंशन हेड्स का विश्लेषण करता है। इस विश्लेषण के आधार पर, सिस्टम प्रत्येक हेड को तीन विशिष्ट मोड में से एक को सौंपता है: शेयर्ड-डेप्थ, रेजिड्यूअल-डेप्थ, या एक्सैक्ट कैश। KV स्टेट के उन घटकों की पहचान करके जो वर्तमान जेनरेशन स्टेप के लिए आवश्यक हैं और जो गहराई में अतिरेक हैं, सिस्टम रिट्रीवल प्रदर्शन में सामान्य गिरावट के बिना महत्वपूर्ण संपीड़न प्राप्त करता है। यह उन बिल्डर्स के लिए विशेष रूप से प्रासंगिक है जिन्हें उपभोक्ता या एज हार्डवेयर की कठोर VRAM सीमाओं के भीतर काम करते हुए हेस्टैक में सुई जैसी सटीकता बनाए रखने की आवश्यकता है।
स्वायत्त एजेंट बनाने वालों के लिए, यह शोध स्टैटिक क्वांटाइजेशन से दूर, डायनामिक, लेयर-अवेयर कैश प्रबंधन की ओर बदलाव का सुझाव देता है। KV कैश को मेमोरी के एक ठोस ब्लॉक के रूप में नहीं, बल्कि एक फ्रीक्वेंसी-विघटनीय संरचना के रूप में मानने से, डेवलपर्स मौजूदा GPU क्लस्टर्स पर अपने प्रभावी संदर्भ विंडो को संभावित रूप से दोगुना कर सकते हैं। यह दृष्टिकोण सुनिश्चित करता है कि मॉडल लॉजिक और सिंटैक्स के लिए आवश्यक उच्च-फ्रीक्वेंसी जानकारी को संरक्षित करे जबकि निम्न-फ्रीक्वेंसी पृष्ठभूमि को साझा संरचनाओं में ऑफलोड करे। इस प्रोब तंत्र के ओपन-सोर्स इन्फरेंस इंजनों में बाद के कार्यान्वयन पर ध्यान दें कि यह विभिन्न मॉडल परिवारों और पैरामीटर गिनती में कैसा प्रदर्शन करता है।
[12:42] Danus: मैथ रीजनिंग एजेंट्स के लिए एक फैक्ट-ग्राफ मेमोरी लेयर
एक नया arXiv पेपर Danus का परिचय देता है, एक ऑर्केस्ट्रेशन सिस्टम जो शोध-स्तरीय गणितीय तर्क के लिए है जो एक साझा फैक्ट ग्राफ को वैश्विक मेमोरी स्टोर के रूप में केंद्रित करता है। लेखक जिहाओ लियू, गुओक्सिओंग गाओ, और ज़ेमिंग सन (arXiv 2607.06447) एक विशिष्ट स्केलिंग समस्या को लक्षित करते हैं: जैसे-जैसे LLM-आधारित मैथ एजेंट खुली समस्याओं का सामना करते हैं, समानांतर प्रूफ सर्च तेजी से बढ़ता है जबकि मध्यवर्ती दावों को व्यवस्थित या भरोसेमंद बनाना कठिन हो जाता है।
तंत्र दो-स्तरीय है। एक मुख्य एजेंट प्लानिंग और समन्वय संभालता है, प्रूफ की शाखाओं की खोज करने वाले वर्कर एजेंटों को सबटास्क डिस्पैच करता है। महत्वपूर्ण रूप से, प्रत्येक मध्यवर्ती दावा — लेमा, परिभाषाएं, मध्यवर्ती परिणाम — एक साझा फैक्ट ग्राफ में लिखा जाता है जो सिस्टम की वैश्विक मेमोरी के रूप में कार्य करता है। वर्कर्स अपने निजी प्राइवेट स्क्रैचपैड नहीं रखते; वे एक ही स्ट्रक्चर्ड स्टोर से पढ़ते और लिखते हैं, इसलिए दावे समानांतर शाखाओं में ऑडिट करने योग्य होते हैं न कि पर-थ्रेड संदर्भ में दबे हुए। ग्राफ एक समन्वय सब्सट्रेट के रूप में कार्य करता है, केवल एक ट्रांसक्रिप्ट नहीं।
यह अब क्यों मायने रखता है: खुली-समस्या मैथ एजेंटिक सिस्टम के लिए एक उत्पादक टेस्टबेड रहा है precisely क्योंकि आंशिक परिणाम जांचने योग्य होते हैं। एक फैक्ट-ग्राफ मेमोरी लेयर वह स्ट्रक्चरल पीस है जो अधिकांश मल्टी-एजेंट स्टैक्स में अभी भी लुप्त है — LangChain, AutoGen, और समान फ्रेमवर्क मैसेज पासिंग या वेक्टर स्टोर्स पर निर्भर करते हैं, जो दावा-स्तर की निर्भरताओं को स्पष्ट रूप से सतह पर नहीं लाते। Danus एक ऐसे आर्किटेक्चर की ओर इशारा करता है जहां दावा प्रोवेनेंस और ग्राफ-स्तर का डिडुप्लिकेशन किसी भी समानांतर-सर्च एजेंट सिस्टम के लिए फर्स्ट-क्लास चिंताएं बन जाती हैं।
ध्यान देने योग्य: पेपर का मूल्यांकन खंड, जो विस्तार से बताने की उम्मीद है कि फैक्ट ग्राफ कौन-सी समस्या क्लासेस को स्थिर करता है और मुख्य एजेंट की प्लानिंग कहां अभी भी बॉटलनेक बनी हुई है। खुला प्रश्न: क्या लेखक ग्राफ स्कीमा को एक पुन: प्रयोज्य इंटरफ़ेस के रूप में प्रकाशित करेंगे या इसे मैथ-विशिष्ट प्रिमिटिव्स से युग्मित छोड़ देंगे।
यदि आप मल्टी-एजेंट पाइपलाइन बनाते हैं जो समानांतर सर्च में फैन आउट होती हैं, तो Danus जो प्रश्न उठाता है वह यह है कि क्या आपकी मेमोरी लेयर को एक सपाट बफर के बजाय दावों के ग्राफ के रूप में क्वेरी की जा सकती है।
[14:34] LLM कोडिंग एजेंट्स का मूल्यांकन स्टोकेस्टिक मॉडल-डिस्कवरी ऑपरेटर्स के रूप में
हाओ हे, ज़ूइंग लियू, और क्रिस जे. कुलमैन (पेपर 2607.06413) का एक नया arXiv प्रीप्रिंट अधिकांश LLM कोडिंग-एजेंट मूल्यांकनों द्वारा टाले जाने वाले प्रश्न को लक्षित करता है: आप उस एजेंट को कैसे स्कोर करते हैं जो स्वयं खुले-सिरे वाला डेटा मॉडलिंग चलाता है? टीम का तर्क है कि एकल बेंचमार्क रन एजेंट की डिस्कवरी व्यवहार को चरित्रित नहीं कर सकता, क्योंकि एजेंट एक साथ स्टोकेस्टिक और एडाप्टिव है। इसे एक शोरिला ब्लैक-बॉक्स फंक्शन की तरह मानें, और आपको पॉइंट एस्टिमेट्स नहीं, बल्कि एक्सपेरिमेंटल-डिज़ाइन मशीनरी की आवश्यकता है।
यह तंत्र एक औपचारिक रूपरेखा है। लेखक कोडिंग एजेंट को एक स्टोकेस्टिक मॉडल-खोज ऑपरेटर के रूप में प्रस्तुत करते हैं: यह कार्य-विशिष्ट खोज डेटा और एक अनुकूलन लक्ष्य को ग्रहण करता है, और एक खोजा गया मॉडल उत्सर्जित करता है। उस ऑपरेटर के चारों ओर, वे एक प्रायोगिक डिज़ाइन और विश्लेषण ढांचा लपेटते हैं जो खोज कार्य में इनपुट को स्वीप करता है, विचरण का अनुमान लगाने के लिए रन दोहराता है, और कारकों को विशिष्ट कारकों — कार्य, प्रॉम्प्ट, एजेंट बैकबोन, खोज बजट — के लिए जिम्मेदार ठहराने के लिए फैक्टोरियल-शैली विश्लेषण का उपयोग करता है।
मुख्य दावा एक एकल संख्या के बजाय पद्धतिगत है। ढांचा खोज विचरण को मात्रात्मक रूप से निर्धारित करने और यह पहचानने के लिए बनाया गया है कि वास्तव में कौन से कारक मायने रखते हैं, एकल सफलता दर की रिपोर्टिंग के बजाय। यह महत्वपूर्ण है क्योंकि वर्तमान एजेंट बेंचमार्क भाग्य को पुरस्कृत करते हैं: एक एजेंट एक बार एक अच्छा मॉडल हिट कर सकता है और एकल रन पर मजबूत दिख सकता है, और समुदाय उस सफलता को साक्ष्य के रूप में मान लेता है।
निर्माताओं के लिए, यह एक लीडरबोर्ड नहीं बल्कि एक मापन आदिम है। आप अपने स्वयं के एजेंट पाइपलाइन के चारों ओर ढांचा लगा सकते हैं ताकि प्रॉम्प्ट वेरिएंट, टूल बजट, या मॉडल स्वैप को उसी कार्य के विरुद्ध तनाव-परीक्षण किया जा सके और एकल बिंदुओं के बजाय विचरण बैंड प्राप्त कर सकें। अगला देखें: जब लेखक पूर्ण एब्लेशन टेबल और प्रति-कारक प्रभाव आकार जारी करते हैं, तो वे संख्याएं समुदाय को बताएंगी कि कौन से नॉब वास्तव में स्वायत्त खोज को चलाते हैं — और कौन से केवल जीत के रूप में प्रस्तुत शोर हैं।
[16:23] RuBench 1.0 कोडिंग एजेंट्स का परीक्षण Native-Russian रिपॉजिटरी फिक्सेस पर करता है
एक नया रिपॉजिटरी-स्तरीय एजेंटिक कोडिंग बेंचमार्क आज arXiv (2607.06411) पर Evgeny Shilov द्वारा जारी किया गया है, और यह एजेंट eval स्पेस के एक कोने को संबोधित करता है जो अधिकांश सुइट्स अनदेखा करते हैं। RuBench 1.0 पांच लाइव ओपन-सोर्स रिपॉजिटरी में हाल के फिक्स कमिट्स से खोदे गए 25 कार्य प्रदान करता है: Python में aiohttp और aiogram, PHP में Laravel, TypeScript और JavaScript में NestJS और Fastify। बेंचमार्क को अलग बनाने वाली बात spec प्रारूप है। प्रत्येक कार्य कथन Russian में शुरू से लिखा गया है, एक ग्राहक अनुरोध की शैली में जो एक डेवलपर वास्तव में प्राप्त करेगा — अनुवादित अंग्रेज़ी issue को वापस नहीं। तंत्र सीधा लेकिन स्पष्ट है। Shilov वास्तविक फिक्स कमिट्स निकालते हैं, फिर किसी की आवाज़ में Russian कार्य विवरण लिखते हैं जो एक मैनेनटेनर को bug की रिपोर्ट कर रहा है। eval वास्तविक हैंडऑफ को कैप्चर करता है: एक गैर-अंग्रेज़ी-बोलने वाला डेवलपर अपनी कार्यरत भाषा में एक issue दर्ज करता है, एजेंट को वास्तविक repo में localize करना, पढ़ना और एक फिक्स लागू करना होता है। वह अंतर मायने रखता है क्योंकि अधिकांश रिपॉजिटरी-स्तरीय एजेंटिक बेंचमार्क डिज़ाइन द्वारा अंग्रेज़ी कार्य कथन मानते हैं, इसलिए अनुवादित बॉयलरप्लेट के लिए tune किए गए मॉडल प्राकृतिक-भाषा हैंडऑफ को पूरी तरह से छोड़ देते हैं। एजेंट बिल्डर्स के लिए, RuBench 1.0 एक क्रॉस-लैंग्वेज eval प्लग-इन के रूप में कार्य करता है। 25-कार्य सुइट छोटा लेकिन लक्षित है: यह localization, कोड समझ, और पैच जनरेशन का परीक्षण करता है जब प्रॉम्प्ट Russian में हो, जो अंग्रेज़ी-केवल eval में छूटे कमजोरियों को उजागर करता है। मल्टीलिंगुअल इंजीनियरिंग संगठनों में कोडिंग एजेंट शिप करने वाली टीमें इसका उपयोग उस issue-in-working-language, fix-in-the-repo पैटर्न को मान्य करने के लिए कर सकती हैं जो वास्तविक मेंटेनेंस कार्य वास्तव में अपनाता है। पेपर में मुख्य संख्या बेंचमार्क का आकार है — पांच रिपॉजिटरी और चार भाषाओं में 25 कार्य — और ठोस योगदान स्वयं Russian-लिखित spec प्रारूप है। अन्य भाषाओं तक मूल रूप से लिखित पैटर्न का विस्तार करने वाले अनुवर्ती सुइट्स पर ध्यान दें, और एजेंट वेंडर्स पर एक मल्टीलिंगुअल क्षमता सिग्नल के रूप में RuBench पर अपने स्कोर प्रकाशित करते हैं।
[18:16] Anthropic डेवलपर रिलेशंस घर्षण और फ्रंटियर मॉडल API माइग्रेशन में स्थिरता अंतर
फ्रंटियर मॉडल विकास का परिदृश्य Anthropic के हालिया संचालनात्मक बदलावों को नेविगेट करने वाले बिल्डर्स के रूप में एक घर्षण बिंदु पर पहुंच गया है। जबकि मॉडल स्वयं SWE-bench जैसे बेंचमार्क पर जारी हैं, डेवलपर अनुभव वर्तमान में कई ब्रेकिंग चेंजेस और स्थिरता चुनौतियों की विशेषता है। प्राथमिक तकनीकी बाधा legacy Text Completions API से नए Messages API में माइग्रेशन में शामिल है। यह सिर्फ एक syntax परिवर्तन नहीं है; यह एक अनुमान कॉल के दौरान स्थिति प्रबंधन के तरीके में एक मूलभूत बदलाव को शामिल करता है। उदाहरण के लिए, Messages API एक विशिष्ट संरचना लागू करता है जहां सिस्टम प्रॉम्प्ट एक शीर्ष-स्तरीय पैरामीटर के रूप में संभाले जाते हैं, message array में शामिल करने के बजाय, जो अप्रत्याशित मॉडल व्यवहार की ओर ले जा सकता है यदि तर्क को पुराने पैटर्न से सही ढंग से फिर से मैप नहीं किया गया है।
इसके अलावा, डेवलपर समुदाय ने API हेडर्स के माध्यम से रेट लिमिट्स और संदर्भ विंडो उपयोग के संचार के तरीके में समस्याओं की पहचान की है। अन्य प्रदाताओं के विपरीत जो प्रति अनुरोध टोकन खपत के लिए स्पष्ट इंस्ट्रूमेंटेशन प्रदान करते हैं, Anthropic के कार्यान्वयन में असंगतियाँ दिखी हैं जो स्वायत्त एजेंट्स के लिए वास्तविक समय में अपने स्वयं के बजट और विंडो बाधाओं को प्रबंधित करना कठिन बनाती हैं। यह विशेष रूप से उन लंबे-चलने वाले एजेंटिक वर्कफ़्लो के लिए समस्याग्रस्त है जो 200k टोकन विंडो पर उच्च-संदर्भ पुनर्प्राप्ति पर निर्भर करते हैं। जब Claude 3.5 Sonnet जैसा मॉडल पिछले संस्करण को बदलता है, तो अपडेटेड attention mechanisms के कारण पुनर्प्राप्ति व्यवहार बदल जाता है, जिससे अक्सर उसी सटीकता के स्तर को बनाए रखने के लिए सिस्टम निर्देशों को पूरी तरह से फिर से लिखने की आवश्यकता होती है।
बिल्डर्स के लिए, इसका मतलब है कि मॉडल बदलने की लागत सिर्फ API key बदलने से अधिक है; इसमें प्रॉम्प्ट पदानुक्रम और टोकन ओवरफ्लो के लिए त्रुटि-हैंडलिंग लॉजिक का गहन ऑडिट शामिल है। हम अधिक रक्षात्मक कोडिंग पैटर्न की ओर देख रहे हैं, जहां डेवलपर्स प्रतिक्रिया प्रारूप और सिस्टम प्रॉम्प्ट इंजेक्शन को सामान्य बनाने के लिए Anthropic SDK को कस्टम अमूर्तताओं में लपेट रहे हैं। आगे बढ़ते हुए, Console UI के अपडेट और संस्करण नीति के लिए अधिक मानकीकृत दृष्टिकोण के लिए आधिकारिक Anthropic स्थिति पृष्ठ पर ध्यान दें, ताकि प्रोडक्शन डिप्लॉयमेंट में वर्तमान घर्षण को कम किया जा सके।
[20:22] VAORA VLM रीज़निंग रिवॉर्ड को विज़ुअल और एक्शन टर्म्स में विभाजित करता है
ArXiv पेपर 2607.06522, जिसके लेखक Han-Jun Ko, Jr-Jen Chen, और Haobo Yuan हैं, विज़न-लैंग्वेज मॉडल में एक विशिष्ट विफलता मोड को लक्षित करता है। जब किसी एजेंट को अनसीन टास्क और वातावरण में भौतिक इंटरैक्शन के बारे में तर्क करना होता है, तो चेन-ऑफ-थॉट स्क्रीन पर जो वास्तव में है उससे और एजेंट के अपने एक्शन से जो उत्पन्न होगा उससे भटक जाता है, और मॉडल ऐसे तर्क का भ्रम (hallucination) करता है जो भौतिक वास्तविकता का खंडन करता है। टीम ने फिक्स को VAORA के रूप में प्रस्तुत किया है, जो Visual Action Outcome Reasoning Alignment का संक्षिप्त रूप है, और यह सामान्य रिवॉर्ड को दो पूरक सिग्नल के साथ बदलकर काम करता है।
पहला है Visual Alignment Reward। इसमें यह नहीं आंकिया जाता कि मॉडल की व्याख्या अलगाव में सुनने में यथार्थपूर्ण लगती है या नहीं, बल्कि यह व्याख्या को दृश्य में वास्तव में दिखाई देने वाली चीज़ों से जोड़ता है, एजेंट के एक्शन से अलग। दूसरा सिग्नल आंकता है कि व्याख्या सही ढंग से भविष्यवाणी करती है कि एजेंट जो एक्शन लेने वाला है उसका परिणाम क्या होगा। एक साथ वे दोनों विफलता मोड को एक साथ दंडित करते हैं: भ्रमित तर्क जो फ्रेम का खंडन करता है, और तर्क जो एक्शन जो करेगा उससे मेल नहीं खाता। इन्हें अलग करना महत्वपूर्ण है क्योंकि एक ही संयुक्त रिवॉर्ड प्रवृत्त होती है कि यह धुला दे कि किसी दिए गए rollout पर वास्तव में कौन सा अक्ष विफल हो रहा है।
VLMs को टूल यूज़, ब्राउज़र कंट्रोल, या किसी भी एजेंट लूप के लिए प्रशिक्षित करने वाले बिल्डर्स के लिए, निहितार्थ यह है कि रिवॉर्ड डिज़ाइन को एक स perception-grounded टर्म और एक एक्शन-कंसीक्वेंस टर्म में विभाजित किया जा सकता है, एक एकल संयुक्त स्कोर के बजाय। इससे मूल्यांकन के दौरान विफलताओं को परसेप्शन या प्लानिंग में आसानी से श्रेय देना संभव होता है, बजाय इसके कि एक विफलता मोड दूसरे को मास्क करने दे।
आगे देखने योग्य: क्या VAORA का दो-रिवॉर्ड स्प्लिट पेपर के इंटरैक्टिव फिजिकल रीज़निंग बेंचमार्क से जनरल कंप्यूटर-यूज़ और वेब-एजेंट इवैल्यूएशन में ट्रांसफर होता है, और विज़ुअल एलाइनमेंट टर्म कैसे टिकता है जब विज़ुअल कॉन्टेक्स्ट किसी सिमुलेटेड सीन के बजाय किसी UI का स्क्रीनशॉट हो।
[22:19] GitHub AI Agent Prompt Injection Leaks Private Repo Contents
GitHub का AI एजेंट, जो Copilot Chat और नए Workspace अनुभव को संचालित करता है, एक दो-स्टेप प्रॉम्प्ट-इंजेक्शन चेन के माध्यम से प्राइवेट रिपॉजिटरी की सामग्री प्रकट करने के लिए मजबूर किया जा सकता है। पहले, एक हमलावर एक कमेंट बनाता है जिसमें कोड सारांश के लिए एक साधारण-दिखने वाला अनुरोध शामिल है लेकिन एक डेलिमिटर एम्बेडेड है जो एजेंट के टूल-सेलेक्शन लॉजिक को गलत तरीके से उसके आंतरिक search/code एंडपॉइंट को वाइल्डकार्ड क्वेरी के साथ इनवोक करने के लिए मजबूर करता है जो टारगेट रिपो में हर फाइल से मेल खाती है, जिससे वह परमिशन चेक बायपास हो जाता है जो सामान्यतः परिणामों को पब्लिक कोड तक सीमित रखता है। दूसरे, एक बार जब सर्च ब्लॉब आइडेंटिफायर लौटाता है, तो एजेंट रॉ फाइल ब्लॉब्स लाने के लिए repos/{owner}/{repo}/contents/{path} REST API को कॉल करता है, और उन्हें चैट रिस्पॉन्स में स्ट्रीम करता है जैसे वे सामान्य असिस्टेंट आउटपुट हों। एक्सप्लॉइट एजेंट के क्रमिक टूल-कॉल लूप पर निर्भर करता है: परमिशन गार्ड पहले टूल कॉल से पहले चलता है लेकिन सर्च रिजल्ट्स लौटने के बाद फिर से नहीं आंकिया जाता, जिससे दूसरी कॉल को एलिवेटेड स्कोप इनहेरिट करने की अनुमति मिलती है। Nomao Security ने एक टेस्ट ऑर्गनाइजेशन के स्वामित्व वाले प्राइवेट रिपो से README और एक सोर्स फाइल निकालकर लीक का प्रदर्शन किया, जिससे पुष्टि हुई कि हमलावर को केवल किसी पब्लिक इश्यू या पुल रिक्वेस्ट पर एक कमेंट पोस्ट करने की जरूरत थी। बिल्डर्स के लिए, इसका मतलब है कि किसी भी वातावरण को जो भाषा-मॉडल एजेंट को व्यापक टूल एक्सेस के साथ एक्सपोज़ करता है, सिर्फ सेशन की शुरुआत में नहीं बल्कि प्रत्येक टूल इनवोकेशन के बाद री-ऑथराइज़ेशन लागू करना चाहिए। टीमों को अपने एजेंट कॉन्फ़िगरेशन की ऑडिट करनी चाहिए, किसी भी सर्च या फाइल-रीड टूल की स्कोप कसनी चाहिए, और एजेंट कॉल्स को प्रॉक्सी के पीछे सैंडबॉक्स करने पर विचार करना चाहिए जो स्पष्ट रूप से अनुमति नहीं दिए जाने तक रिपॉजिटरी-लेवल टोकन स्ट्रिप करता है। GitHub के आगामी पैच पर नज़र रखें जो प्रत्येक टूल कॉल से पहले रिपॉजिटरी परमिशन का री-चेक जोड़ता है, और समुदाय-संचालित स्कैनर्स पर जो एजेंट लॉग में असामान्य टूल-कॉल पैटर्न का पता लगाते हैं।
[24:08] Early-Failure Probes Cut Wasted Compute in Agent Loops
Kai Ruan, Zihe Huang, और Ziqi Zhou का एक नया arXiv पेपर एजेंट लूप में सबसे महंगे विफलता मोड में से एक को लक्षित करता है: ट्रैजेक्टरीज़ जो उत्पादक दिखती हैं जबकि एजेंट एक ऐसे पथ पर कंप्यूट बर्न कर रहा है जो वैसे भी विफल होगा। पेपर, 2607.06503, एक रिकॉल-कंट्रोल्ड प्रोब कैस्केड पेश करता है जो एजेंट के आउटपुट को स्कोर करने के बजाय सीधे उसके छिपे हुए एक्टिवेशन को पढ़ता है।
मुख्य मैकेनिज्म एक हल्का प्रति-राउंड क्लासिफायर प्रोब है जो मॉडल के आंतरिक प्रतिनिधित्व पर प्रशिक्षित है। प्रत्येक इंटरैक्शन राउंड पर, प्रोब एक फेलियर-लिकलीहुड सिग्नल उत्सर्जित करता है जो वितरण-मुक्त तरीके से कैलिब्रेटेड होता है ताकि एक ही थ्रेशोल्ड बिना प्रति-डेटासेट रीट्यूनिंग के टास्क में यात्रा कर सके, और एक कंट्रोलर उस सिग्नल का उपयोग एपिसोड को रोकने के लिए करता है इससे पहले कि वह और आगे सर्पिल में जाए। हेडलाइन परिणाम: प्रोब पहले इंटरैक्शन राउंड पर ही अभिशप्त ट्रैजेक्टरीज़ को फ्लैग करता है, जबकि स्कोरर जो केवल एजेंट के ऑब्ज़र्वेबल व्यवहार को देखते हैं उसी बिंदु पर मुट्ठी भर बेहतर हैं। दूसरे शब्दों में, फेलियर सिग्नल टेक्स्ट स्ट्रीम में आने से बहुत पहले एक्टिवेशन के अंदर मौजूद होता है।
मल्टी-स्टेप एजेंट चलाने वाले बिल्डर्स के लिए, यह क्षमता अपग्रेड के बजाय कॉस्ट-कंट्रोल प्रिमिटिव है। इस तरह का कैस्केड आपको एजेंट को राइटराइट किए बिना खोए हुए कारणों पर इन्फरेंस स्पेंड की सीमा लगाने देता है, दृश्यमान त्रुटियों या रन-एंड स्कोरिंग सिग्नल की प्रतीक्षा करने के बजाय आंतरिक-स्टेट प्रोब पर लूप को गेट करके। यह मायने रखता है क्योंकि कंप्यूट बर्बाद होता है डेड-एंड पाथ पर भले ही एजेंट अंततः एक सुसंगत-दिखने वाला अंतिम उत्तर लौटाए।
दो चीजें हैं जिन पर आगे नज़र रखना है: क्या प्रोब मॉडल परिवारों में ट्रांसफर होता है और ट्रेनिंग डिस्ट्रिब्यूशन से परे स्केल करता है, और क्या वेंडर्स रियल प्रोडक्शन स्टैक्स में कैस्केड चलाने के लिए ज़रूरी एक्टिवेशन-लेवल हुक एक्सपोज़ करते हैं। तब तक, यह पेपर सबसे स्पष्ट प्रदर्शन है कि अर्ली-फेलियर डिटेक्शन एजेंट स्टैक की कोस्ट लेयर में आता है।
[25:56] DepthWeave-KV Brings Adaptive Cross-Layer KV Sharing to Long Context
लॉन्ग-कॉन्टेक्स्ट इंफरेंस एक ही दीवार से टकराता रहता है: जैसे ही कॉन्टेक्स्ट कुछ लाख टोकन से आगे बढ़ता है, की-वैल्यू कैश मॉडल वेट्स से ज़्यादा मेमोरी खाता है, और मौजूदा कम्प्रेशन तरीके हर लेयर और टोकन के साथ एकसमान व्यवहार करते हैं। Anna Cordoba, Adam Puente Tercero, और Nerea Angulo Hijo द्वारा एक नया arXiv पेपर, नंबर 2607.06523, DepthWeave-KV के साथ एक अलग एंगल लेता है। ट्रांसफॉर्मर लेयर्स में एकसमान बजट के बजाय, DepthWeave-KV साझा लो-रैंक चैनल बेसिस का उपयोग करके पड़ोसी लेयर्स में की और वैल्यू स्टेट्स को फैक्टराइज़ करता है। साझा बेसिस उन एक्टिवेशन्स को अवशोषित करता है जो लेयर्स के बीच बमुश्किल बदलते हैं। इसके ऊपर, मेथड हल्के टोकन-स्पेसिफिक रेजिडुअल्स रखता है, लेकिन सिर्फ वहाँ जहाँ अटेंशन बिहेवियर सेंसिटिव होती है — उन बिट्स को एंकर करता है जिनकी लेक्सिकल लुकअप्स और रिट्रीवल हेड्स को ज़रूरत होती है। वह स्प्लिट ही की मुख्य मूव है। टोकन जो ज़्यादातर सेमांटिक स्टेट में योगदान करते हैं, लेयर्स में आज़ादाई से शेयर करते हैं; टोकन जो रिट्रीवल या कॉपी बिहेवियर में योगदान करते हैं, अपना संकीर्ण रेजिडुअल स्लॉट रखते हैं। ऑथर्स इसे टोकन-एडाप्टिव कहते हैं क्योंकि रेजिडुअल बजट एक वैश्विक नॉब के बजाय प्रति टोकन एक अटेंशन-सेंसिटिविटी सिग्नल द्वारा स्टीयर किया जाता है। लॉन्ग-कॉन्टेक्स्ट एजेंट्स चलाने वाले बिल्डर्स के लिए, निहितार्थ ठोस है। मल्टी-आवर कोडिंग सेशन, रिपॉजिटरी-स्केल कोड रिट्रीवल, और सैकड़ों हज़ारों टोकन की टूल-कॉल ट्रेस, हर एक KV कैश पर वर्किंग-सेट पेनल्टी की कीमत चुकाते हैं। एक मेथड जो एडाप्टिवली कम्प्रेस करती है — रेडंडेंट इंटर-लेयर स्टेट शेयर करते हुए जबकि उन टोकन्स को प्रिज़र्व करती है जो रिट्रीवल को एंकर करते हैं — सीधे तौर पर यह तय करती है कि एक इंफरेंस एंडपॉइंट एक ही HBM बजट से कितना बड़ा कॉन्टेक्स्ट विंडो सर्व कर सकता है, और एक GPU कितने कंकरेंट लॉन्ग-रनिंग एजेंट सेशन्स होल्ड कर सकता है। वॉच-नेक्स्ट आइटम यह है कि क्या फैक्टराइज़्ड स्टेट को इंक्रीमेंटली स्ट्रीम किया जा सकता है, और क्या vLLM या TensorRT-LLM जैसे सर्विंग रनटाइम्स पेज्ड अटेंशन को ब्रेक किए बिना शेयरिंग पैटर्न अपना सकते हैं। पेपर 6 जुलाई को आया था; अगला टेस्ट यह है कि क्या वही कम्प्रेशन रेशियो बीयर रिट्रीवल बेंचमार्क्स के अलावा बीम सर्च और टूल-कॉलिंग वर्कलोड्स में भी बना रहता है।
[27:51] Practical queue
आज की स्टोरीज़ से: बिल्डर्स के लिए इसका मतलब है कि एक फ्रेश Codex इंस्टॉल अब रिमोट प्लगइन्स उठाता है और होस्ट की सिस्टम प्रॉक्सी स्टैक के ज़रिए रूट करता है बिना पर-टीम कॉन्फ़िगरेशन के, जो सबसे आम कॉर्पोरेट-नेटवर्क फ्रिक्शन हटा देता है। इंटरैक्टिव फिक्शन, NPC डायलॉग, या टेबलटॉप असिस्टेंट्स शिप करने वाले बिल्डर्स के लिए, यह एक ड्रॉप-इन ऑप्शन है जो पर्सोना कंटीन्यूटी को इंटरनली हैंडल करता है बजाय प्रॉम्प्ट इंजीनियरिंग पर निर्भर रहने के। इसका मतलब है कि बिल्डर्स वॉयस सिंथेसिस को क्लाउड से बाहर मूव कर सकते हैं वॉयस-टू-वॉयस एजेंट लूप्स में API कॉस्ट्स और नेटवर्क लेटेंसी एलिमिनेट करने के लिए। बिल्डर्स के लिए इसका मतलब है कि इंटरप्रेटेबिलिटी वर्क एक पूरे रेजिडुअल स्ट्रीम को स्कैन करने के बजाय एक स्पेसिफिक हेड क्लास को टारगेट कर सकता है, जो सर्किट-लेवल स्टीयरिंग और प्रोब डिज़ाइन के लिए सर्च स्पेस को श्रिंक करता है। प्रोप्राइटरी कोडबेस और प्रोडक्ट स्पेक्स को चैट क्लाइंट के ज़रिए सुरक्षित रूप से रूट करने का मूल्यांकन करने वाले बिल्डर्स के लिए, Rowboat एक लोकल-फर्स्ट, BYOK पाथ ऑफर करता है जो स्टेट को वेंडर क्लाउड के बजाय आपके खुद के डिस्क पर रखता है। यह रिसर्च सुझाव देती है कि एडजेसेंट ट्रांसफॉर्मर लेयर्स रेडंडेंट इन्फॉर्मेशन शेयर करती हैं जिसका इंफरेंस-टाइम ऑप्टिमाइज़ेशन के लिए एक्सप्लॉइट किया जा सकता है। मल्टी-एजेंट स्टैक्स फिलहाल मैसेज पासिंग या वेक्टर स्टोर्स पर निर्भर हैं, जो फैक्ट ग्राफ की तरह क्लेम-लेवल डिपेंडेंसीज़ सर्फेस नहीं करते। ओपन-एंडेड मॉडलिंग टास्क पर एक सिंगल एजेंट रन से पॉइंट एस्टिमेट्स वो नॉइज़ हैं जिसपर आप एक्शन नहीं ले सकते, इसीलिए पेपर का रिपीटेड-ट्रायल फ्रेमवर्क एजेंट पाइपलाइन शिप करने वाले हर किसी के लिए मायने रखता है। गैर-अंग्रेज़ी बोलने वाली टीमों को कोडिंग एजेंट्स शिप करने वाले बिल्डर्स के लिए, RuBench 1.0 एक्सपोज़ करता है कि उनका मॉडल रूसी में कस्टमर-स्टाइल स्पेक पर कितना अच्छा है, जो एक सेटिंग है जो ज़्यादातर करंट इवैल्स स्किप करते हैं। यह शिफ्ट का मतलब है कि टीम्स को प्रॉम्प्ट लॉजिक के लिए सख्त रिग्रेशन टेस्टिंग इम्प्लीमेंट करनी होगी जब भी मॉडल वर्जन्स अपडेट हों ताकि सिस्टम इंस्ट्रक्शन्स अभी भी इंटेंडेड टूल-कॉलिंग बिहेवियर ट्रिगर करें। इसका मतलब है कि एजेंट-लूप VLMs के लिए इनसेंटिव डिज़ाइन एक सिंगल कंबाइंड स्कोर में कॉलैप्स नहीं होना चाहिए, क्योंकि एक परसेप्शन-ग्राउंडेड टर्म और एक एक्शन-कंसीक्वेंस टर्म को इंडिपेंडेंटली ट्रेन और इंस्पेक्ट किया जा सकता है। इसका मतलब है कि ब्रॉड टूल एक्सेस वाले किसी भी लैंग्वेज-मॉडल एजेंट की डिप्लॉयमेंट को सेशन स्टार्ट पर ही नहीं बल्कि हर टूल इनवोकेशन के बाद परमिशन्स का री-इवैल्यूएशन करना होगा। बिल्डर टीम्स के लिए इसका मतलब है: एजेंट कोस्ट कंट्रोल आउटपुट स्क्रैपिंग से हटकर एक्टिवेशन-लेवल प्रोब्स पर जा सकता है जो इंफरेंस लूप के अंदर फायर करते हैं। बिल्डर्स के लिए इसका मतलब है कि लॉन्ग-कॉन्टेक्स्ट एजेंट इंफरेंस KV वर्किंग-सेट साइज पर बॉटलनेक्ड है पैरामीटर काउंट के बजाय, इसलिए कोई भी कम्प्रेशन जो रिट्रीवल-क्रिटिकल टोकन प्रिज़र्व करता है सर्विंग कॉस्ट्स पर सीधा डॉलर-एंड-थ्रूपुट लीवरेज रखता है।
NOVA: मैं NOVA हूँ।
[ALLOY]: मैं ALLOY हूँ, और यह AgentStack Daily है...
NOVA: Hermes Agent 7.7 OpenAI Codex rust .143 और Claude Code .197 के साथ आया। Hermes ने tool-calling flow को tighter किया और observability hooks जोड़े, Codex ने remote plugins को default में चालू किया और system proxy routing पेश किया, और terminal-based AI coding agent Claude Code ने stricter sandbox controls, बेहतर telemetry, और deterministic reason-step logging जोड़ी।
[ALLOY]: आज: Hermes, Codex, और Claude Code agent-harness queue का नेतृत्व कर रहे हैं; AionLabs ने OpenRouter पर Aion-3-Mini roleplay लाया; Kokoro ने low-power CPUs पर high-fidelity speech पहुँचाया; Anthropic का workspace-head research interpretability को बढ़ाता है; Rowboat को local-first Claude Desktop rival के तौर पर Hacker News पर traction मिला; और security lane में GitHub AI agent prompt-injection leak आया।
NOVA: release thread इसलिए matters है क्योंकि production agent stack hand-wired assumptions के प्रति less tolerant हो रहा है। Remote plugins अब baseline Codex behavior के तौर पर आते हैं, proxy traversal host operating system का पालन करता है, और Claude Code के नए controls sandbox behavior और reasoning traces को repeatable work में audit करना आसान बनाते हैं।
[ALLOY]: model और research thread surface को चौड़ा करता है: long-context KV compression, math agents के लिए fact-graph memory, multilingual coding-agent evaluation, VLMs के लिए visual-action rewards, और activation-level early-failure probes सब एक ही operating constraint की ओर इशारा करते हैं — agents systems बनते जा रहे हैं जिन्हें आप deploy, meter, secure, और observe करते हैं, सिर्फ prompts नहीं जो आप run करते हैं।
NOVA: Hermes Agent 7.7 Agent Stack release readout के लिए baseline set करता है, tool-calling pipeline और observability hooks में refinements के साथ जो long-running agent sessions को inspect करना आसान बनाते हैं। उपयोगी change कोई flashy new agent personality नहीं है; यह tool invocation के चारों ओर की plumbing है। Calls clearer timing और outcome metadata के साथ trace की जा सकती हैं, ताकि एक failing tool route opacity model answer की जगह execution problem के तौर पर visible हो। यह तब help करता है जब chain provider APIs, shell actions, browser automation, या custom services को cross करती है।
[ALLOY]: OpenAI का terminal-based coding agent Codex rust .143 सबसे बड़ा surface change लाता है। Remote plugins अब marketplace catalog से default load होते हैं, richer rows और side-by-side local और remote versions के साथ। Discovery baseline behavior बन जाती है, opt-in path नहीं। Codex macOS और Windows पर system proxy routing भी जोड़ता है, PAC और WPAD discovery सहित, ताकि authentication और Responses API traffic corporate network policy का पालन कर सकें बिना special bypass के। running daemon से manual remote-control pairing shared hosts और constrained environments के लिए cleaner path जोड़ता है।
NOVA: Codex model और tool behavior को भी expand करता है। Bedrock GPT-5.6 Sol, Terra, और Luna को max reasoning effort first-class option के तौर पर मिलती है, MCP tool search default में चालू हो जाता है, और hosted MCP servers session authentication use कर सकते हैं। App-server clients को environment inspection, descendant thread listing, और specific turn से history fork मिलता है, जो replay और scheduling surfaces को more realistic बनाता है।
[ALLOY]: क्लॉड कोड .197, एंथ्रोपिक का टर्मिनल-आधारित AI कोडिंग एजेंट, कड़े सैंडबॉक्स नियंत्रण, बेहतर टेलीमेट्री, और नियतात्मक रीज़न-स्टेप लॉगिंग जोड़ता है। व्यवहार में, यह टीमों को एजेंट के एडिट, रन, या किसी टास्क के माध्यम से रीज़न करने पर स्पष्ट ऑडिट ट्रेल देता है। संयुक्त रीडआउट प्लगइन घर्षण, प्रॉक्सी घर्षण दोनों को कम करता है, और प्रोडक्शन टीमों को तब मजबूत ट्रेस देता है जब कोई एजेंट सही दिखने वाले कारण के लिए गलत काम करता है।
NOVA: AionLabs ने OpenRouter पर Aion-3-Mini जारी किया, जो इंटरैक्टिव फिक्शन, NPC डायलॉग, और टेबलटॉप-स्टाइल असिस्टेंट के लिए डिज़ाइन किया गया एक रोलप्ले और स्टोरीटेलिंग मॉडल है। यह DeepSeek फैमिली पर बना है और 131K-टोकन कॉन्टेक्स्ट विंडो एक्सपोज़ करता है, जो लंबे सत्र चलाने वालों के लिए अहम नंबर है। पर्सना मेमोरी, लोर, कैम्पेन स्टेट, और सीरियलाइज़्ड चैट हिस्ट्री मॉडरेट कैम्पेन के लिए बिना अलग रिट्रीवल लेयर के प्रॉम्प्ट के अंदर रह सकती है।
[ALLOY]: मॉडल का जनरेशन पाथ कोलैबोरेटिव रोल्स के इर्दगिर्द व्यवस्थित है। एक सिंगल पास से सीन फ्रेमिंग, कैरेक्टर वॉइस, कंटिन्यूटी, और फाइनल प्रोज़ एक साथ संभालने के बजाय, AionLabs एक पाइपलाइन बताता है जहां स्पेशलाइज़्ड पास नैरेटिव जॉब के टुकड़े लेते हैं और एक सिंथेसिस स्टेज आउटपुट को मर्ज करता है। एक सिंगल OpenRouter-कम्पैटिबल चैट कॉल फाइनल रिप्लाई देता है, लेकिन अपस्ट्रीम डिज़ाइन प्लेन बेस मॉडल प्रॉम्प्ट से ज़्यादा छोटे राइटर्स रूम जैसा है।
NOVA: बिल्डर वर्कफ्लो के लिए यह मायने रखता है क्योंकि रोलप्ले सिस्टम आमतौर पर बोरिंग तरीकों से फेल होते हैं: कोई कैरेक्टर बाउंड्री भूल जाता है, दुनिया पिछले सीन से विरोधाभास करती है, या असिस्टेंट नैरेटिव से मेटा-कमेंट्री में बह जाता है। लंबा कॉन्टेक्स्ट विंडो मेमोरी प्रेशर कम करता है, जबकि रोल-बेस्ड जनरेशन पाथ सिस्टम को फाइनल आंसर यूज़र तक पहुंचने से पहले उन तनावों को रिकॉन्साइल करने की जगह देता है। OpenAI-कम्पैटिबल एंडपॉइंट का मतलब है कि मौजूदा चैट क्लाइंट और एजेंट शेल इसे मिनिमल एडाप्टर वर्क के साथ रूट कर सकते हैं।
[ALLOY]: दावों को अभी भी इंडिपेंडेंट नंबर चाहिए। पर्सना कंसिस्टेंसी, कॉन्ट्राडिक्शन रिकवरी, और लॉन्ग-सेशन स्टेबिलिटी देखने योग्य इवैल्यूएशन पॉइंट्स हैं। ज़्यादा दिलचस्प फ्यूचर नॉब रोल इंटरमीडिएट्स या सिंथेसिस कंट्रोल्स एक्सपोज़ करना होगा ताकि डेवलपर्स कंटिन्यूटी, कैरेक्टर वॉइस, और सीन पेसिंग को अलग-अलग ट्यून कर सकें। फिलहाल, Aion-3-Mini OpenRouter यूज़र्स को जनरल असिस्टेंट वर्क की जगह नैरेटिव कंटिन्यूटी के लिए बनाए गए ड्रॉप-इन मॉडल देता है।
NOVA: Kokoro सुर्खियों में है क्योंकि यह हाई-क्वालिटी टेक्स्ट-टू-स्पीच को साधारण लोकल हार्डवेयर पर प्रैक्टिकल बनाता है। ज़्यादातर नैचुरल-साउंडिंग स्पीच मॉडल अभी भी क्लाउड इन्फरेंस, हैवी VRAM, या ट्यून्ड GPU स्टैक मानते हैं। Kokoro उस परसीव्ड क्वालिटी का बड़ा हिस्सा सिर्फ 82 मिलियन पैरामीटर से हासिल करता है, 100 मेगाबाइट से कम मेमोरी फुटप्रिंट के साथ, और स्टैंडर्ड लैपटॉप CPUs पर आराम से चलता है।
[ALLOY]: दो मैकेनिज़्म बताते हैं कि यह वॉइस एजेंट्स के लिए अच्छा क्यों है। पहला, Kokoro ONNX रनटाइम एक्जीक्यूशन का उपयोग करता है, इसलिए इन्फरेंस बिना CUDA सेटअप की ज़रूरत के प्लेटफॉर्म भर में ऑप्टिमाइज़्ड कर्नेल का फायदा उठा सकता है। यह C++, Python, और Rust एप्लिकेशन को डेस्कटॉप, मोबाइल, या एज एजेंट में सीधे स्पीच सिंथेसिस एम्बेड करने का रियलिस्टिक पाथ देता है। दूसरा, Kokoro प्रोसोडी के लिए स्टाइल-लैटेंट वेक्टर एप्रोच का उपयोग करता है, जो सिस्टम को बड़े ट्रांसफॉर्मर ब्लॉक्स में स्केल किए बिना इमोशनल टोन बदलने देता है।
NOVA: तकनीकी प्रैक्टिशनर्स से रिव्यूज़ ने क्वालिटी-टू-साइज़ रेशियो को हाइलाइट किया है: 24 किलोहर्ट्ज़ ऑडियो, नैचुरल पेसिंग, और मीन ओपिनियन स्कोर रिज़ल्ट्स जो कई गुना बड़े मॉडल्स से टक्कर लेते हैं। प्रैक्टिकल इफेक्ट है लेटेंसी और कॉस्ट। वॉइस-टू-वॉइस एजेंट को अब हर रिस्पॉन्स होस्टेड TTS प्रोवाइडर को नहीं भेजना पड़ता, नेटवर्क राउंड ट्रिप्स का इंतज़ार नहीं करना पड़ता, और पर जेनरेटेड कैरेक्टर के हिसाब से भुगतान नहीं करना पड़ता। लोकल स्पीच को एजेंट के साथ पैकेज किया जा सकता है और कनेक्टिविटी गिरने पर भी उपलब्ध रहता है।
[ALLOY]: गोपनीयता-संवेदनशील परिनियोजनों को भी लाभ होता है। मेडिकल इनटेक सहायक, फील्ड-सर्विस कोपायलट, शिक्षा उपकरण और स्थानीय व्यक्तिगत एजेंट क्लाउड API पर हर उच्चारण भेजे बिना वाक् उत्पन्न कर सकते हैं। ट्रेडऑफ़ अभी भी पारिस्थितिकी तंत्र की परिपक्वता है: भाषा कवरेज, वॉइस विविधता और प्रोडक्शन-ग्रेड पैकेजिंग अभी भी मायने रखते हैं। अंग्रेज़ी और जापानी सहायता इसे अभी Kokoro को उपयोगी बनाती है, जबकि व्यापक बहुभाषी कवरेज इसे क्लाउड पर निर्भरता के बिना एजेंट ऐप्स के लिए जो Natural Audio चाहिए उसके लिए डिफ़ॉल्ट स्थानीय वॉइस लेयर में बदल सकती है।
NOVA: Anthropic का पेपर, "A global workspace in language models," Global Workspace Theory के माध्यम से ट्रांसफॉर्मर इन्फरेंस को नए सिरे से प्रस्तुत करता है, जहाँ विशेषज्ञ मॉड्यूल एक साझा वर्कस्पेस में ब्रॉडकास्ट करने के लिए प्रतिस्पर्धा करते हैं और प्रमुख सिग्नल डाउनस्ट्रीम प्रोसेसिंग का मार्गदर्शन करता है। पेपर ने बड़ी Hacker News चर्चा खींची क्योंकि यह इंटरप्रिटेबिलिटी कार्य को एजेंट व्यवहार से जोड़ता है: रीज़निंग ट्रेस, टूल चॉइस और कॉन्टेक्स्ट इंटीग्रेशन पहचान योग्य ब्रॉडकास्ट-स्टाइल सर्किट पर निर्भर हो सकते हैं, न कि केवल डिफ्यूज़ स्केल इफेक्ट्स पर।
[ALLOY]: ठोस परिणाम एक छोटे वर्ग पर केंद्रित है - एटेंशन हेड्स और MLP सर्किट पर। मल्टी-स्टेप रीज़निंग के दौरान, लेखक उन वर्कस्पेस हेड्स की पहचान करते हैं जो इंटरमीडिएट रिज़ल्ट्स को कंसोलिडेट करते हैं और उन्हें बाद की लेयर्स में पुनः ब्रॉडकास्ट करते हैं। जब उन हेड्स को एब्लेट किया जाता है, तो चेन-ऑफ़-थॉट कॉहेरेंस गिर जाता है जबकि सरल सिंगल-टर्न क्षमता बहुत कम प्रभावित रहती है। यह व्यवहारिक स्प्लिट दावे को वज़न देती है: हेड्स सामान्य भाषा फ्लुएंसी के बजाय रीज़निंग थ्रेड बनाए रखने से जुड़े लगते हैं।
NOVA: टूल-कॉल निर्णयों के दौरान एक दूसरा मैकेनिज़्म दिखाई देता है। जब मॉडल को टूल चुनना होता है, वही ब्रॉडकास्ट पैटर्न अन्य विशेषज्ञ हेड्स में से एक प्रमुख टूल सिलेक्शन को आगे बढ़ाता है, जो वर्कस्पेस फ्रेमिंग द्वारा प्रेडिक्टेड विज़र-टेक-ऑल व्यवहार से मेल खाता है। पेपर वर्कस्पेस-हेड एक्टिवेशन और मैथ एवं कोड टास्क्स पर टोकन-लेवल कॉन्फिडेंस के बीच सहसंबंध भी रिपोर्ट करता है, जो शोधकर्ताओं को रीज़निंग डेप्थ के लिए एक मापनीय प्रॉक्सी देता है।
[ALLOY]: एजेंट सिस्टम के लिए, उपयोगी एंगल संकीर्ण सर्च है। इंटरप्रिटेबिलिटी टूल्स हर व्यवहार के लिए पूरे रेजिडुअल स्ट्रीम को स्कैन करने के बजाय कैंडिडेट हेड क्लास पर फोकस कर सकते हैं। यह सर्किट-लेवल स्टीयरिंग, प्रोब डिज़ाइन और रिग्रेशन एनालिसिस को सस्ता बना सकता है। अगला टेस्ट Claude फैमिली के बाहर रिप्रोडक्शन है, खासकर ओपन-वेट इंस्ट्रक्शन-ट्यून्ड मॉडल्स पर। अगर वर्कस्पेस हेड्स लगातार दिखाई देते हैं, तो वेंडर्स अंततः वर्कस्पेस-स्टाइल सिग्नल्स को कॉन्फिडेंस या टूल-यूज़िंग एजेंट्स के लिए राउटिंग टेलीमेट्री के रूप में एक्सपोज़ कर सकते हैं।
NOVA: Rowboat, Rowboat Labs से एक ओपन-सोर्स प्रोजेक्ट, Claude Desktop के लिए लोकल-फर्स्ट विकल्प के रूप में खुद को पिच करके Hacker News पर 162 पॉइंट्स पर पहुँचा। दिलचस्पी एक व्यावहारिक चिंता से आई: कई टीमें आधुनिक AI डेस्कटॉप क्लाइंट के शेप को पसंद करती हैं, लेकिन होस्टेड अकाउंट वर्कफ़्लो से जुड़ी कन्वर्सेशन स्टेट, प्रोजेक्ट कॉन्टेक्स्ट और मालिकाना सामग्री नहीं चाहतीं।
[ALLOY]: Rowboat का पिच एक डेस्कटॉप ऐप है जहाँ चैट हिस्ट्री, कॉन्फ़िगरेशन और प्रोजेक्ट कॉन्टेक्स्ट यूज़र की मशीन पर रहता है। यह किसी एक मॉडल वेंडर में लॉक न करके कई प्रोवाइडर्स को सपोर्ट करता है। एक डेवलपर इसे Anthropic, OpenAI-कम्पैटिबल एंडपॉइंट या सेल्फ-होस्टेड मॉडल सर्वर पर पॉइंट कर सकता है जबकि एक ही क्लाइंट सतह बनाए रखता है। इंटरफ़ेस Claude Desktop से परिचित पैटर्न उधार लेता है: प्रोजेक्ट साइडबार, थ्रेडेड कन्वर्सेशन और सिस्टम प्रॉम्प्ट एडिटर।
NOVA: यह Rowboat को सिर्फ़ एक और चैट रैपर से ज़्यादा बनाता है। लोकल-फर्स्ट और ब्रिंग-योर-ओन-की मॉडल ट्रस्ट बाउंड्री को शिफ्ट करता है। प्रोडक्ट स्पेक्स, कस्टमर कॉन्टेक्स्ट, इंटरनल कोड और एक्सप्लोरेटरी डिज़ाइन एक ऐसे क्लाइंट के ज़रिए रूट किए जा सकते हैं जिसे टीम कंट्रोल करती है, जबकि मॉडल कॉल्स अभी भी चुने हुए प्रोवाइडर पर जाती हैं। Hacker News यूज़र्स ने सेल्फ-होस्टेड इन्फरेंस से इसे वायर करने की भी चर्चा की, जो Rowboat को लोकल या प्राइवेट मॉडल्स के लिए पतली ऑर्केस्ट्रेशन शेल में बदल देता है।
[ALLOY]: मुख्य खुले सवाल टूल उपयोग और रिलीज़ cadence के बारे में हैं। एक असली इंजीनियरिंग surface बनने के लिए, Rowboat को विश्वसनीय tool-calling, MCP server integration, और predictable updates की जरूरत है। अकेली chat को replicate करना आसान है; एक stable local client जो internal services को call कर सके, project context को preserve कर सके, और multiple models को state leak किए बिना support कर सके, यह बहुत ज्यादा valuable है। Rowboat का early traction suggest करता है कि developer demand एक vendor-neutral desktop shell के लिए real है।
NOVA: FreqDepthKV उस memory और bandwidth cost को target करता है जो long-context inference को expensive बनाती है: key-value cache। जब contexts बड़े repositories, tool traces, या long conversations में stretch होते हैं, तो KV cache working set पर dominate कर सकता है। Anna Córdoba, Adam Puente Tercero, और Nerea Angulo Hijo के पेपर में Frequency-Guided Depth Sharing पेश किया गया है, जो adjacent transformer layers के बीच redundancy के लिए एक inference-time compression method है।
[ALLOY]: यह method हर cached state को equally important मानने से बचती है। यह KV states को shared low-frequency depth components plus sparse high-frequency residuals में factorize करती है। Low-frequency components वो information capture करते हैं जो layers में धीरे-धीरे बदलती है और share की जा सकती है। High-frequency residuals retrieval, syntax, और multi-step reasoning के लिए जरूरी sharp evidence preserve करती हैं। यह split needle-in-a-haystack behavior को intact रखते हुए memory pressure कम करने के लिए design की गई है।
NOVA: दूसरा mechanism एक lightweight online probe है। Generation के दौरान, probe attention heads को inspect करती है और estimate करती है कि प्रत्येक head reconstruction-sensitive attention logits में कितना contribute करती है। फिर यह heads को shared-depth, residual-depth, या exact-cache modes में assign करती है। Static compression rule की जगह, FreqDepthKV per head और per generation step adapt करती है, जहां जरूरी है वहां precise state रखती है और जहां नहीं वहां redundant state share करती है।
[ALLOY]: Agent deployments के लिए, appeal direct throughput leverage है। Long coding sessions, large-context retrieval, और multi-agent traces सब cache pressure create करते हैं before model itself बदलता है। Dynamic, layer-aware compression serving endpoints को same GPU memory budget पर longer contexts या more concurrent sessions handle करने दे सकती है। बचा हुआ सवाल implementation का है। Probe online चलाने के लिए достаточно cheap होनी चाहिए, और serving engines को paged-attention behavior preserve करनी होगी while sharing depth components। अगर open inference stacks इसे adopt करती हैं, तो context length raw HBM capacity से कम tied रहेगी।
NOVA: Danus एक orchestration system है जो एक shared fact graph के around research-level mathematical reasoning के लिए build की गई है। Authors, Jihao Liu, Guoxiong Gao, और Zeming Sun, एक scaling problem को target करते हैं जो हर बार दिखती है जब math agents parallel proof search में fan out होते हैं: intermediate claims जल्दी multiply हो जाते हैं, और normal message histories provenance, dependencies, या contradictions को inspect करना आसान नहीं बनाते।
[ALLOY]: Danus एक two-layer agent setup use करती है। एक main agent proof search plan करता है और worker agents को subtasks dispatch करता है। प्रत्येक worker एक branch explore करता है, लेकिन important piece वह है जहां claims जाते हैं। Lemmas, definitions, intermediate results, और partial arguments एक shared fact graph में लिखे जाते हैं। Workers same structured memory से पढ़ते हैं और उसमें लिखते हैं, ताकि claims private scratchpads के अंदर दबने की जगह branches में auditable बनें।
NOVA: वह graph एक coordination substrate की तरह काम करती है। एक worker देख सकता है कि दूसरी branch ने पहले ही एक supporting lemma establish कर दी है, या कि एक proposed path किसी earlier definition से conflict करती है। System similar claims को deduplicate कर सकती है और reasoning graph में प्रत्येक edge के लिए provenance retain कर सकती है। Math इसके लिए एक useful domain है क्योंकि partial results अक्सर checkable होते हैं, और statements के बीच dependencies final answer जितनी ही important होती हैं।
[ALLOY]: व्यापक एजेंट निष्कर्ष यह है कि मैसेज पासिंग और वेक्टर रिट्रीवल क्लेम-लेवल कोऑर्डिनेशन के लिए कमज़ोर टूल्स हैं। फैक्ट ग्राफ मल्टी-एजेंट सिस्टम्स को "क्या स्थापित हो गया है," "इस पर क्या निर्भर है," और "किस ब्रांच ने इसे प्रोड्यूस किया है" जैसे क्वेरी करने का तरीका देता है। Danus गणित-विशिष्ट है, लेकिन यह पैटर्न रिसर्च असिस्टेंट्स, कोडबेस एनालिसिस, कंप्लायंस रिव्यू, और किसी भी पैरलल-सर्च वर्कफ्लो के लिए उपयुक्त है जहाँ क्लेम्स को फ्लैट ट्रांसक्रिप्ट की जगह स्ट्रक्चर्ड प्रोवेनेंस की जरूरत है।
NOVA: हाओ हे, जुएयिंग लियू, और क्रिस जे. कुहलमैन का एक प्रीप्रिंट पूछता है कि ओपन-एंडेड डेटा मॉडलिंग चलाने वाले कोडिंग एजेंट्स का मूल्यांकन कैसे करें। उनका जवाब है कि एक सिंगल रन बहुत कम बताता है। एजेंट स्टोकास्टिक है, सर्च प्रोसेस पहले के आउटपुट्स के अनुसार एडाप्ट करती है, और फाइनल डिस्कवर्ड मॉडल टास्क फ्रेमिंग, प्रॉम्प्ट वर्डिंग, बैकबोन मॉडल, टूल एक्सेस, और बजट पर निर्भर हो सकता है।
[ALLOY]: पेपर कोडिंग एजेंट को स्टोकास्टिक मॉडल-डिस्कवरी ऑपरेटर के रूप में फ्रेम करता है। यह टास्क-स्पेसिफिक डिस्कवरी डेटा प्लस एक ऑप्टिमाइजेशन टारगेट प्राप्त करता है, फिर एक कैंडिडेट मॉडल एमिट करता है। उस ऑपरेटर के आसपास, लेखक एक एक्सपेरिमेंटल-डिज़ाइन फ्रेमवर्क रैप करते हैं: इनपुट्स वेरी करें, रन रिपीट करें, वेरिएंस एस्टीमेट करें, और फैक्टोरियल-स्टाइल एनालिसिस का उपयोग करके आउटकम्स को स्पेसिफिक फैक्टर्स के लिए एट्रिब्यूट करें। यह पूछने की जगह कि एजेंट एक बार सफल हुआ या नहीं, फ्रेमवर्क पूछता है कि कौन से इनपुट्स विश्वसनीय रूप से परफॉर्मेंस बढ़ाते हैं।
NOVA: यह मायने रखता है क्योंकि कई एजेंट बेंचमार्क अभी भी लकी ट्रैजेक्टरीज़ को इनाम देते हैं। अगर एक एजेंट एक बार एक मज़बूत मॉडल खोज लेता है, तो एक लीडरबोर्ड सिस्टम को उससे बेहतर दिखा सकता है। रिपीटेड ट्रायल्स एक्सपोज़ करते हैं कि एजेंट विश्वसनीय रूप से उपयोगी हाइपोथीसिस एक्सप्लोर करता है या बस कभी-कभी एक अच्छे रिज़ल्ट में टम्बल हो जाता है। पेपर का योगदान मेथडोलॉजिकल है: वेरिएंस बैंड्स और फैक्टर इफेक्ट्स आउटपुट बन जाते हैं, सिंगल सक्सेस रेट की जगह।
[ALLOY]: प्रोडक्शन टीमें प्रॉम्प्ट वेरिएंट्स, मॉडल स्वैप्स, या सर्च बजट्स की तुलना करते समय उस फ्रेमिंग का उपयोग कर सकती हैं। अगर एक कॉन्फिगरेशन में हायर मेडियन है लेकिन भारी वेरिएंस है, जबकि दूसरे में टाइटर बजट में स्थिर परफॉर्मेंस है, तो डिप्लॉयमेंट चॉइस क्लियर हो जाता है। अगले जो नंबर्स देखने चाहिए वो हैं फुल एब्लेशन टेबल्स और पर-फैक्टर इफेक्ट साइज़्स। वो दिखाएंगे कि कौन से नॉब्स वास्तव में ऑटोनोमस डिस्कवरी को ड्राइव करते हैं और कौन से नॉब्स सिर्फ शोर जोड़ते हैं एक कन्विंसिंग नैरेटिव के साथ।
NOVA: Evgeny Shilov का RuBench 1.0, रिपॉजिटरी-लेवल कोडिंग-एजेंट इवैल्यूएशन में एक गैप को टारगेट करता है: नेटिव नॉन-इंग्लिश टास्क स्टेटमेंट्स। बेंचमार्क में पाँच लाइव ओपन-सोर्स प्रोजेक्ट्स में हाल के फिक्स कमिट्स से माइन किए गए 25 टास्क शामिल हैं: Python में aiohttp और aiogram, PHP में Laravel, plus NestJS और TypeScript और JavaScript में Fastify। कोडबेस परिचित हैं, लेकिन टास्क हैंडऑफ़ सामान्य इंग्लिश इश्यू प्रॉम्प्ट नहीं है।
[ALLOY]: हर टास्क स्टेटमेंट रूसी में शुरू से लिखा गया है, एक कस्टमर रिक्वेस्ट की स्टाइल में जैसा कि एक मेंटेनर वास्तव में प्राप्त कर सकता है। यह डिटेल मायने रखती है। एक ट्रांसलेटेड बेंचमार्क अक्सर नीचे इंग्लिश स्ट्रक्चर ले जाता है; RuBench नेटिव फ्रेज़िंग, अलग अम्बिगुइटी पैटर्न, और रियल बग-रिपोर्ट स्टाइल का उपयोग करता है। एजेंट को रूसी रिक्वेस्ट समझनी होगी, इश्यू को लोकलाइज़ करना होगा, टारगेट कोड का निरीक्षण करना होगा, और असली प्रोजेक्ट में पैच प्रोड्यूस करना होगा।
NOVA: बेंचमार्क छोटी लेकिन पॉइंटेड है। पच्चीस टास्क पूरे कोडिंग-एजेंट लैंडस्केप को डिफाइन नहीं करेंगे, लेकिन वे एक क्षमता का टेस्ट करते हैं जो कई करंट सुइट्स छोड़ देते हैं: इश्यू-इन-वर्किंग-लैंग्वेज, फिक्स-इन-कोडबेस। मल्टीलिंगुअल इंजीनियरिंग टीमें हमेशा एजेंट्स को पॉलिश्ड इंग्लिश स्पेक्स नहीं सौंपती हैं, और कस्टमर-फेसिंग मेंटेनेंस वर्क अक्सर रिपोर्टर की भाषा में आता है। RuBench एक्सपोज़ करता है कि क्या एजेंट नेचुरल-लैंग्वेज हैंडऑफ़ को ब्रिज कर सकता है बिना टेक्निकल थ्रेड खोए।
[ALLOY]: ठोस मूल्य यह है कि यह एक प्लग-इन मूल्यांकन सतह है जो उन टीमों के लिए है जो नॉन-इंग्लिश वातावरण में कोडिंग एजेंट भेज रही हैं। यह स्थानीयकरण, रिपॉजिटरी समझ और पैच जनरेशन को एक साथ मापती है। बड़े भाषाओं में अनुवर्ती सुइट और वेंडर्स द्वारा मूल रूप से लिखे गए बहुभाषी कार्यों पर स्कोर प्रकाशित करने पर नज़र रखें। यह बहुभाषी सहायता के सामान्य दावों से बेहतर संकेत होगा, क्योंकि यह भाषा समझ को वास्तविक मरम्मत कार्य से जोड़ता है।
NOVA: Anthropic का मॉडल गुणवत्ता मजबूत बनी हुई है, विशेषकर कोडिंग बेंचमार्क में, लेकिन फ्रंटियर-मॉडल माइग्रेशन के आसपास डेवलपर अनुभव ने घर्षण पैदा किया है। केंद्रीय तकनीकी बदलाव पुराने Text Completions API से Messages API की ओर है। यह बदलाव सिर्फ सिंटैक्स नहीं है। यह बदलता है कि इंफरेंस के दौरान प्रॉम्प्ट, रोल और स्टेट का प्रतिनिधित्व कैसे होता है।
[ALLOY]: एक ठोस उदाहरण सिस्टम प्रॉम्प्ट हैंडलिंग है। Messages API में, सिस्टम प्रॉम्प्ट मैसेज एरे के अंदर के बजाय टॉप-लेवल पैरामीटर के रूप में बैठता है। पुराने रैपर जो हर निर्देश को मैसेज की तरह मानते थे, शब्दों को सुरक्षित रख सकते हैं लेकिन पदानुक्रम बदल सकते हैं, और यह मॉडल व्यवहार को बदल सकता है। टूल-उपयोग करने वाले एजेंट इस पदानुक्रम के प्रति विशेष रूप से संवेदनशील होते हैं क्योंकि रूटिंग निर्देश, सुरक्षा बाधाएं और संदर्भ सारांश विभिन्न स्थानों पर ध्यान के लिए प्रतिस्पर्धा करते हैं।
NOVA: बिल्डर्स ने रेट-लिमिट और संदर्भ-विंडो इंस्ट्रूमेंटेशन के बारे में भी चिंता जताई है। लंबे चलने वाले एजेंटों को यह जानना होता है कि बजट में कितना शेष है, संदर्भ कब संतृप्ति के करीब है, और रीट्राय को क्या करना चाहिए - सेशन को सिकोड़ना चाहिए या फोर्क करना चाहिए। यदि हेडर और उपयोग संकेतक असंगत हैं या सामान्य बनाना कठिन है, तो स्वायत्त लूप अधिक भंगुर हो जाते हैं। मॉडल प्रतिस्थापन बड़े संदर्भ विंडो के अंदर रिट्रीवल व्यवहार को भी बदल सकता है, जिससे टीमों को उन प्रॉम्प्ट को फिर से ट्यून करना पड़ता है जो पहले काम करते थे।
[ALLOY]: कई टीमों का जवाब रक्षात्मक रैपिंग है। वे प्रोवाइडर रिस्पॉन्स को सामान्य बनाती हैं, सिस्टम प्रॉम्प्ट इंजेक्शन को अलग करती हैं, और SDK के आसपास अपना बजट अकाउंटिंग जोड़ती हैं। यह माइग्रेशन में ओवरहेड जोड़ता है, लेकिन यह एक बड़ा सत्य भी दर्शाता है: फ्रंटियर मॉडल बदलना सिर्फ API कुंजी बदलना नहीं है। इसके लिए प्रॉम्प्ट पदानुक्रम ऑडिट, ओवरफ्लो हैंडलिंग परिवर्तन, टूल स्कीमा जांच और व्यवहार रिग्रेशन कार्य की आवश्यकता हो सकती है। Anthropic स्पष्ट वर्जनिंग नीति और स्थिर माइग्रेशन सतहों के साथ घर्षण कम कर सकता है।
NOVA: Han-Jun Ko, Jr-Jen Chen, और Haobo Yuan द्वारा VAORA, इंटरैक्टिव रीजनिंग के लिए उपयोग की जाने वाली विज़न-लैंग्वेज मॉडल में एक विशिष्ट कमज़ोरी को लक्षित करता है। जब कोई मॉडल भौतिक या विज़ुअल कार्यों के बारे में तर्क करता है, उसका चेन ऑफ थॉट्ट इमेज से और उस कार्रवाई के परिणामों से जो वह करने की योजना बना रहा है, से भटक सकता है। परिणाम यह है कि पाठ या तो दृश्य का विरोधाभास करता है या किसी कार्रवाई के परिणाम की गलत भविष्यवाणी करता है।
[ALLOY]: VAORA का अर्थ है Visual Action Outcome Reasoning Alignment। यह एकल रीज़निंग रिवॉर्ड को दो अलग संकेतों से बदल देता है। Visual Alignment Reward स्कोर करता है कि व्याख्या वास्तव में दिखाई देने वाली चीज़ में आधारित है या नहीं, कार्रवाई से स्वतंत्र। Action-outcome reward स्कोर करता है कि व्याख्या सही ढंग से भविष्यवाणी करती है या नहीं कि एजेंट की कार्रवाई क्या कारण बनेगी। यह विभाजन मायने रखता है क्योंकि एकल संयुक्त रिवॉर्ड छिपा सकता है कि कौन सा अक्ष विफल हुआ।
NOVA: इससे ट्रेनिंग और मूल्यांकन को एक स्वच्छ डायग्नोस्टिक सतह मिलती है। यदि विज़ुअल टर्म कमज़ोर है, तो मॉडल दृश्य को सही ढंग से पढ़ नहीं रहा है। यदि एक्शन टर्म कमज़ोर है, तो यह दृश्य देख सकता है लेकिन अपनी योजना के प्रभाव की भविष्यवाणी करने में विफल रहता है। मूर्त एजेंटों, ब्राउज़र एजेंटों और UI-नियंत्रण प्रणालियों के लिए, ये अलग-अलग समस्याएं हैं। एक वेब ऐप को नियंत्रित करने वाला मॉडल एक बटन को भ्रमित कर सकता है जो वहां नहीं है, या वह बटन को सही ढंग से पहचान सकता है लेकिन फिर भी गलत समझ सकता है कि उस पर क्लिक करने से क्या होगा।
[ALLOY]: खुला सवाल ट्रांसफर का है। VAORA इंटरैक्टिव फिजिकल रीजनिंग के इर्दगिर्द बनाया गया है, लेकिन यही स्प्लिट स्क्रीनशॉट्स, रिमोट डेस्कटॉप्स, ऐप ऑटोमेशन और रोबोटिक्स पर भी लागू हो सकता है। परसेप्शन-ग्राउंडेड रिवॉर्ड प्लस एक्शन-कंसीक्वेंस रिवॉर्ड VLM बिल्डर्स को ब्लेंडेड स्कोर से बेहतर एरर एट्रिब्यूशन देता है। अगर यह कंप्यूटर-यूज़ बेंचमार्क पर काम करता है, तो यह तय कर सकता है कि टूल-यूज़िंग विज़न एजेंट्स को कैसे ट्रेंड और डीबग किया जाए।
NOVA: Nomao Security ने GitHub के AI एजेंट सतहों के खिलाफ एक प्रॉम्प्ट-इंजेक्शन चेन डेमोंस्ट्रेट किया जो प्राइवेट रिपॉजिटरी कंटेंट लीक कर सकता था। एक्सप्लॉइट ने एक पब्लिक इश्यू या पुल रिक्वेस्ट पर एक क्राफ्टेड कमेंट का इस्तेमाल किया। कमेंट एक नॉर्मल कोड सारांश रिक्वेस्ट की तरह दिखता था लेकिन इसमें इंस्ट्रक्शन एम्बेडेड थे जो एजेंट के टूल-सेलेक्शन लूप में हेरफेर करती थीं।
[ALLOY]: पहला स्टेप एजेंट को टारगेट रिपॉजिटरी में वाइल्डकार्ड-स्टाइल क्वेरी के साथ इंटरनल कोड सर्च की तरफ धकेलता है। दूसरा स्टेप GitHub के रिपॉजिटरी कंटेंट API के ज़रिए रॉ कंटेंट फेच करने के लिए रिटर्न किए गए ब्लॉब आइडेंटिफायर का इस्तेमाल करता है, फिर परिणामों को ऑर्डिनरी असिस्टेंट आउटपुट के तौर पर चैट रिस्पॉन्स में स्ट्रीम करता है। खास फेलियर टूल कॉल्स के बीच बैठता है: परमिशन चेक पहले टूल इनवोकेशन से पहले चले थे, लेकिन सर्च रिजल्ट्स वापस आने के बाद और कंटेंट फेच से पहले फिर से इवैल्यूएट नहीं किए गए।
NOVA: वो सीक्वेंशियल गैप वही जगह है जहां टूल-यूज़िंग एजेंट खतरनाक हो जाते हैं। ब्रॉड टूल एक्सेस वाला एक मॉडल एक स्पष्ट रूप से बेहरमन request को प्रिविलेज्ड कॉल्स की चेन में बदल सकता है। अगर ऑथराइज़ेशन केवल सेशन स्टार्ट पर या केवल पहले टूल से पहले चेक किया जाता है, तो बाद के कॉल्स एक ऐसा एक्सेस स्कोप इनहेरिट कर सकते हैं जो अब यूज़र के इरादे या परमिशन से मेल नहीं खाता। Nomao ने एक सिंगल पब्लिक कमेंट से ट्रिगर होकर एक प्राइवेट टेस्ट ऑर्गनाइज़ेशन से README और सोर्स कंटेंट एक्सट्रैक्ट किया।
[ALLOY]: फिक्स पैटर्न साफ है: हर टूल कॉल को करंट यूज़र, टारगेट रिसोर्स और एक्शन के खिलाफ फिर से ऑथराइज़ करें। सर्च और रीड परमिशन को इंटरचेंजेबल नहीं मानना चाहिए, और रिटर्न किए गए आइडेंटिफायर को गलती से कैपेबिलिटी टोकन नहीं बनने देना चाहिए। टीम्स जो एजेंट्स को इंटरनल कोड, टिकट्स, कस्टमर डेटा या क्लाउड कंट्रोल प्लेन्स के एक्सपोज़ करती हैं, उन्हें पेर-कॉल स्कोप चेक्स और टूल-कॉल सीक्वेंस पर एनॉमली डिटेक्शन की ज़रूरत है। GitHub के पर्मिशन री-चेक पाथ को पैच करने की उम्मीद है, लेकिन यह लेसन हर उस एजेंट पर लागू होता है जिसके पास ब्रॉड टूल्स हैं।
NOVA: Kai Ruan, Zihe Huang और Ziqi Zhou का एक पेपर एजेंट लूप्स में बर्बाद कंप्यूट पर भारी है। कुछ ट्रैजेक्टरीज़ फेल होने से पहले कई स्टेप्स तक प्रोडक्टिव दिखती हैं, जिसका मतलब है कि सिस्टम उस पाथ पर इन्फरेंस बजट, टूल कॉल्स और समय जला देता है जो पहले से ही डूम्ड था। ऑथर्स एक रिकॉल-कंट्रोल्ड प्रोब कैस्केड इंट्रोड्यूस करते हैं जो बैड आउटपुट का इंतज़ार करने के बजाय सीधे हिडन एक्टिवेशन्स पढ़ता है।
[ALLOY]: कोर मैकेनिज्म एक लाइटवेट क्लासिफायर प्रोब है जो हर इंटरैक्शन राउंड पर इंटरनल रिप्रेजेंटेशन्स पर ट्रेंड किया गया है। प्रोब एक फेलियर-लिकलीहुड सिग्नल एमिट करता है, जो डिस्ट्रीब्यूशन-फ्री तरीके से कैलिब्रेटेड है ताकि थ्रेशोल्ड बिना पेर-डेटासेट ट्यूनिंग के टास्क्स में यात्रा कर सके। फिर एक कंट्रोलर उस सिग्नल का इस्तेमाल रन को रोकने के लिए करता है, इससे पहले कि एजेंट एक डेड पाथ पर और बजट खर्च करे।
NOVA: हेडलाइन रिजल्ट है अर्ली सेपरेशन। प्रोब डूम्ड ट्रैजेक्टरीज़ को पहले इंटरैक्शन राउंड में ही फ्लैग कर सकता है, जबकि स्कोरर्स जो केवल ऑब्ज़र्वेबल बिहेवियर इंस्पेक्ट करते हैं, वही पॉइंट पर लगभग चांस से बेहतर नहीं हैं। इसका मतलब है कि फेलियर सिग्नल टेक्स्ट, टूल आउटपुट्स या फाइनल आंसर्स में दिखाई देने से पहले ही मॉडल के इंटरनल स्टेट में मौजूद है। एजेंट अभी भी सुसंगत लग सकता है जबकि उसका ट्रैजेक्टरी पहले ही अनरिकवरेबल हो चुका है।
[ALLOY]: डिप्लॉय किए गए एजेंट्स के लिए, यह क्षमता सुधार से ज्यादा लागत नियंत्रण है। प्रोब कैस्केड प्लानर को दोबारा लिखे बिना या मॉडल की अंतिम-उत्तर नीति को बदले बिना लूप्स को गेट कर सकता है। कठोर डिपेंडेंसी एक्सेस है: प्रोडक्शन प्रोवाइडर शायद ही कभी एक्टिवेशन-लेवल हुक एक्सपोज करते हैं। अगर वेंडर्स सुरक्षित इंटरनल-स्टेट सिग्नल एक्सपोज करते हैं, तो अर्ली-फेलियर डिटेक्शन मल्टी-स्टेप एजेंट्स के लिए मीटरिंग लेयर का हिस्सा बन सकता है। तब तक, पेपर एक मजबूत रिसर्च रिजल्ट देता है: आउटपुट स्क्रैपिंग कई एजेंट फेलियर्स के लिए बहुत देर है।
NOVA: DepthWeave-KV समान लंबे-कॉन्टेक्स्ट सर्विंग वॉल पर FreqDepthKV से अलग कोण से हमला करता है। एक बार जब कॉन्टेक्स्ट लाखों टोकन से आगे बढ़ जाता है, तो की-वैल्यू कैश मॉडल वेट्स से ज्यादा मेमोरी खा सकता है। मौजूदा कंप्रेशन स्कीम अक्सर लेयर्स और टोकन में यूनिफॉर्म बजट लागू करते हैं, जो रिट्रीव-क्रिटिकल डिटेल्स को नुकसान पहुंचा सकता है। DepthWeave-KV इसके बजाय लो-रैंक चैनल बेस का उपयोग करके पड़ोसी ट्रांसफॉर्मर लेयर्स में स्टेट शेयर करता है।
[ALLOY]: यह विधि दो तरह की जानकारी को अलग करती है। वे एक्टिवेशन जो लेयर्स के बीच बहुत कम बदलते हैं उन्हें शेयर्ड बेसिस में अवशोषित किया जाता है। टोकन-विशिष्ट रेजिड्यूअल्स केवल वहीं रहते हैं जहां अटेंशन व्यवहार संवेदनशील होता है। टोकन जो व्यापक सेमांटिक स्टेट ले जाते हैं वे अधिक आक्रामक रूप से साझा कर सकते हैं। टोकन जो लेक्सिकल लुकअप, कोड रेफरेंस, या रिट्रीव व्यवहार को एंकर करते हैं, संकीर्ण रेजिड्यूअल स्लॉट रखते हैं। एडाप्टिव हिस्सा ग्लोबल कंप्रेशन नॉब के बजाय प्रति टोकन अटेंशन-संवेदनशीलता सिग्नल के साथ रेजिड्यूअल बजट को स्टीयर करने से आता है।
NOVA: यह लंबे समय तक चलने वाले कोडिंग एजेंट्स के लिए मायने रखता है। एक मल्टी-आवर सेशन में प्रोजेक्ट-वाइड कॉन्टेक्स्ट, टूल ट्रेस, डिफ्स, शेल आउटपुट, और कई टर्न में यूजर इंटेंट शामिल हो सकता है। उस कॉन्टेक्स्ट की सर्विंग सिर्फ मॉडल क्षमता के बारे में नहीं है; यह KV वर्किंग सेट को GPU की मेमोरी और बैंडविड्थ बजट के अंदर रखने के बारे में है। एडाप्टिव शेयरिंग मौजूदा लंबे सेशन की संख्या बढ़ा सकती है या प्रत्येक की सर्विंग लागत को कम कर सकती है।
[ALLOY]: इंजीनियरिंग सवाल रनटाइम सवाल हैं। क्या फैक्टराइज्ड स्टेट नए टोकन आने पर इंक्रीमेंटली स्ट्रीम कर सकता है? क्या vLLM, TensorRT-LLM, या समान सर्विंग इंजन पेज्ड अटेंशन को ब्रेक किए बिना क्रॉस-लेयर शेयरिंग अपनाई सकते हैं? क्या कंप्रेशन रेशियो बीम सर्च, टूल-हेवी ट्रेस, और कोड रिट्रीवल में बच जाता है, न कि केवल क्लीन रिट्रीवल बेंचमार्क में? अगर जवाब हां है, तो लॉन्ग-कॉन्टेक्स्ट सर्विंग को एक नया बेस मॉडल की जरूरत के बिना एक व्यावहारिक दक्षता रास्ता मिलता है।
NOVA: Rowboat पहला प्रोजेक्ट है क्योंकि यह एक ठोस लोकल-फर्स्ट क्लाइंट है, सिर्फ एक चर्चा विषय नहीं। रेपो प्रोवाइडर-न्यूट्रल AI चैट के लिए एक डेस्कटॉप सतह पेश करता है जहां मॉडल कनेक्टर्स, प्रोजेक्ट कॉन्टेक्स्ट, और यूजर-मैनेज्ड कीज एक ऐप में रह सकते हैं। हेडलाइन मैकेनिज्म स्टेट का स्थानीय स्वामित्व है, प्रोवाइडर रूटिंग के साथ। एक टीम Anthropic, OpenAI-संगत एंडपॉइंट, या सेल्फ-होस्टेड मॉडल सर्वर से कनेक्ट कर सकती है, फिर प्रोजेक्ट वर्क के लिए एक ही इंटरैक्शन लेयर रख सकती है। इंटीग्रेशन एंगल सीधा है: अगर मेंटेनर्स भरोसेमंद टूल सपोर्ट लैंड करते हैं तो Rowboat इंटरनल मॉडल गेटवेज और प्राइवेट MCP सर्वर के आसपास डेस्कटॉप शेल बन सकता है।
[ALLOY]: Kokoro दूसरा प्रोजेक्ट है क्योंकि यह वॉइस एजेंट्स के लिए डिप्लॉयमेंट शेप बदलता है। Kokoro और इसके ONNX पैकेजिंग के आसपास रेपो इकोसिस्टम डेवलपर्स को एक कॉम्पैक्ट स्पीच सिंथेसिस कंपोनेंट देता है जो CPU हार्डवेयर पर चल सकता है। हेडलाइन मैकेनिज्म स्टाइल-लेटेंट प्रोसोडी और ऑप्टिमाइज्ड ONNX एक्जीक्यूशन के साथ स्मॉल-पैरामीटर हाई-फिडेलिटी TTS है। इंटीग्रेशन एंगल उन एजेंट्स के लिए एक स्थानीय वॉइस लेयर है जो पहले से स्पीच रिकग्निशन या टेक्स्ट चैट हैंडल करते हैं। हर रिस्पॉन्स को होस्टेड TTS सर्विस पर भेजने के बजाय, एक ऐप स्थानीय रूप से सिंथेसाइज कर सकता है, विलंबता कम कर सकता है, बार-बार API लागत कम कर सकता है, और संवेदनशील उच्चारणों के लिए प्राइवेसी बनाए रख सकता है।
NOVA: Danus तीसरा प्रोजेक्ट है जिस पर नजर रखनी चाहिए, इससे पहले कि इसके आसपास एक व्यापक इकोसिस्टम बने, क्योंकि यह एक पुन: प्रयोज्य मेमोरी पैटर्न प्रदान करता है। मुख्य विचार समानांतर रीजनिंग वर्कर्स में साझा किया गया एक फैक्ट ग्राफ है। हेडलाइन मैकेनिज्म क्लेम-लेवल कोऑर्डिनेशन है: लेमास, परिभाषाएं, और मध्यवर्ती परिणाम ग्राफ नोड्स और एजेस बन जाते हैं, प्रोवेनेंस के साथ, चैट स्ट्रीम के अंदर दबे हुए टर्न नहीं। इंटीग्रेशन एंगल गणित से आगे बढ़ता है। रिसर्च एजेंट्स, कंप्लायंस रिव्यू सिस्टम, और कोड-एनालिसिस एजेंट्स समान पैटर्न का उपयोग कर सकते हैं जब उन्हें बड़े पैमाने पर कोऑर्डिनेशन की जरूरत होती है।
[ALLOY]: Aion-3-Mini चुनने योग्य मॉडल है जिस पर नज़र रखनी चाहिए। यह OpenRouter के चैट इंटरफेस के ज़रिए उपलब्ध है, DeepSeek-परिवार के बहुभाषी व्यवहार को विरासत में मिलाता है, और roleplay और storytelling workflows के लिए 131K-token context window लाता है। चुना गया दृष्टिकोण सीधे benchmark dominance नहीं है; यह specialization है। मॉडल character voice, continuity और long interactive sessions के लिए आकार में ढाला गया है। अगर आप NPC dialogue, tabletop assistants, interactive fiction या persistent character chat बना रहे हैं, तो Aion-3-Mini आपको एक hosted endpoint देता है जहाँ narrative structure डिज़ाइन का हिस्सा है, बाद में जोड़ी गई चीज़ नहीं।
[ALLOY]: Local spotlight Kokoro पर है क्योंकि यह consumer hardware पर पूरी voice loop को पैकेज करना आसान बनाता है। try-now का practical दृष्टिकोण सीधा है: Kokoro को किसी मौजूदा local agent के पीछे TTS endpoint के रूप में जोड़ें, speech synthesis को CPU पर रखें, और latency और audio quality की तुलना hosted speech provider से करें। छोटा footprint इसका मतलब है कि यह एक local chat model, retrieval service या desktop automation agent के बगल में चल सकता है बिना मशीन को GPU-only appliance में बदले। privacy-sensitive assistants के लिए, Kokoro वह तरह का component है जो "local-first" को slogan से shippable interaction mode में बदल देता है।
NOVA: FreqDepthKV और DepthWeave-KV पहला extra research thread बनाते हैं। दोनों KV-cache growth को हमला करते हैं, लेकिन वे अलग-अलग sharing structures पर ज़ोर देते हैं: एक case में frequency-guided depth sharing, दूसरे में low-rank cross-layer bases with token-adaptive residuals। संयुक्त संदेश यह है कि long context अब model-training problem जितना ही serving-systems problem है। अगर cache compression retrieval-critical tokens को बरक़रार रखता है, तो agent providers same hardware envelope से longer sessions और more concurrent users को serve कर सकते हैं।
[ALLOY]: VAORA दूसरा research candidate है क्योंकि vision-language agents के लिए reward design blended scores से separable terms की ओर बढ़ रहा है। visual grounding को action-outcome prediction से अलग करने से teams को cleaner failure attribution मिलती है। यह browser control, robotics, remote-desktop automation और किसी भी VLM workflow के लिए मायने रखता है जहाँ मॉडल को current state को देखना और यह predict करना होता है कि उसका अगला action क्या बदलेगा।
NOVA: early-failure probe cascade तीसरा candidate है क्योंकि यह cost control को loop के अंदर ले जाता है। bad final answer या visible tool failure का इंतज़ार करने के बजाय, probe internal representations को पढ़ता है और doomed trajectories को जल्दी flag करता है। constraint provider की activation signals तक पहुँच है, लेकिन research direction स्पष्ट है: agent runtimes को expensive failures को long, polished failures बनने से पहले रोकने का तरीका चाहिए।
[ALLOY]: Codex rust .143 remote plugins और system proxy routing को default behaviors बनाता है, जबकि Hermes 7.7 और Claude Code .197 agent work के आसपास traceability, sandbox control और telemetry को बेहतर बनाते हैं।
NOVA: Aion-3-Mini नैरेटिव एजेंट्स को OpenRouter के जरिए एक लॉन्ग-कॉन्टेक्स्ट, रोलप्ले-फोकस्ड मॉडल देता है, जहां पर्सना कंटिन्यूटी मुख्य डिप्लॉयमेंट कारण है।
[ALLOY]: Kokoro सीपीयू-फर्स्ट वॉइस एजेंट्स के लिए लोकल स्पीच सिंथेसिस को व्यावहारिक बनाता है, जिन्हें कम लेटेंसी, कम लागत और कम क्लाउड डिपेंडेंसी की जरूरत होती है।
NOVA: Anthropic का वर्कस्पेस-हेड पेपर इंटरप्रेटेबिलिटी टीम्स को रीजनिंग और टूल-राउटिंग प्रोब्स के लिए एक संकीर्ण लक्ष्य देता है।
[ALLOY]: Rowboat लोकल-फर्स्ट, प्रोवाइडर-न्यूट्रल डेस्कटॉप AI क्लाइंट्स की मांग दिखाता है जिनमें ब्रिंग-योर-ओन-की राउटिंग और भविष्य का MCP पोटेंशियल है।
NOVA: FreqDepthKV और DepthWeave-KV एडाप्टिव KV-कैश कंप्रेशन की ओर इशारा करते हैं जो लॉन्ग-कॉन्टेक्स्ट सर्विंग कॉस्ट पर सीधा असर डालता है।
[ALLOY]: Danus फैक्ट-ग्राफ मेमोरी की वकालत करता है जब मल्टी-एजेंट सिस्टम्स को सिर्फ मैसेज हिस्ट्री नहीं बल्कि क्लेम प्रोवेनेंस चाहिए।
NOVA: स्टोकेस्टिक मॉडल-डिस्कवरी पेपर कोडिंग-एजेंट इवैल्यूएशन को रिपीटेड ट्रायल्स, वेरिएंस बैंड्स और फैक्टर इफेक्ट्स की ओर धकेलता है।
[ALLOY]: RuBench 1.0 टेस्ट करता है कि क्या कोडिंग एजेंट्स रियल रिपॉजिटरीज में नेटिव रशियन मेंटेनेंस रिक्वेस्ट्स हैंडल कर सकते हैं।
NOVA: Anthropic का API माइग्रेशन फ्रिक्शन दिखाता है कि फ्रंटियर-मॉडल अपग्रेड्स के लिए प्रॉम्प्ट हायरार्की और टूल-राउटिंग रिग्रेशन अटेंशन क्यों जरूरी है।
[ALLOY]: VAORA VLM एजेंट्स के लिए विज़ुअल ग्राउंडिंग को एक्शन-आउटकम रीजनिंग से अलग करता है।
NOVA: GitHub प्रॉम्प्ट-इंजेक्शन लीक हर एजेंट टूल इनवोकेशन के लिए पर-कॉल ऑथराइज़ेशन को मज़बूत करता है।
[ALLOY]: अर्ली-फेलियर प्रोब्स दिखाते हैं कि बर्बाद एजेंट कंप्यूट को विज़िबल आउटपुट स्ट्रीम में फेलियर पहुंचने से पहले काटा जा सकता है।
NOVA: लिंक्स और गहरे सोर्स कॉन्टेक्स्ट के लिए, Toby On Fitness Tech dot com पर शो नोट्स देखें।
[ALLOY]: AgentStack Daily सुनने के लिए धन्यवाद। हम जल्द ही वापस आएंगे।