Codex 0.144, GPT-5.6 Sol, Grok 4.5, GPT-Live, और Robostral Navigate
आज का एजेंटस्टैक डेली Codex 0.144, OpenAI के GPT-5.6 Sol, Terra और Luna लाइनअप, और SpaceXAI के Grok 4.5 रिलीज़ की जांच करता है। इसमें GPT-Live की समकालिक सुनने और बोलने, Mistral के 8B Robostral Navigate मॉडल, ChatGPT Work, Microsoft Flint, और निरंतर-नियंत्रण मेमोरी, उद्धरण मूल्यांकन, कोडिंग मूल्यांकन, सक्रिय एजेंट, प्रत्यायोजित वेब शोध, प्रक्रियात्मक कोड पुनर्प्राप्ति, और ऊर्जा-बाजार एजेंट परीक्षण पर नए शोध की चर्चा भी शामिल है। Show notes: https://tobyonfitnesstech.com/hi/podcasts/episode-84/
🎧 Listen to Episodeएपिसोड 084 — 10 जुलाई, 2026
[00:00] एपिसोड हुक
OpenAI ने GPT-5.6 को एक तीन-स्तरीय API परिवार के रूप में लॉन्च किया: जटिल एजेंटिक कार्यों के लिए Sol, संतुलित विकास के लिए Terra, और तेज़, कम लागत वाले कार्यभार के लिए Luna। बिना प्रत्यय वाला मॉडल एलियास Sol पर रूट करता है, जिसके आधिकारिक API पेज में 1,050,000-टोकन संदर्भ विंडो और 128,000-टोकन अधिकतम आउटपुट निर्दिष्ट है; मूल्य निर्धारण Luna के लिए प्रति मिलियन इनपुट टोकन $1 से Sol के लिए प्रति मिलियन आउटपुट टोकन $30 तक है। OpenAI ने GPT-Live-1 और GPT-Live-1 मिनी भी पेश किए, जो पूर्ण-डुप्लेक्स वॉइस मॉडल हैं जो एक साथ सुन और बोल सकते हैं, जिनमें जल्द ही API एक्सेस उपलब्ध होगा। SpaceXAI ने अपने Responses API के माध्यम से Grok 4.5 को 80 टोकन प्रति सेकंड की गति पर और $2/$6 इनपुट/आउटपुट मूल्य निर्धारण के साथ रिलीज किया, साथ ही कंपनी के दावों वाले बेंचमार्क परिणाम भी दिए जिनमें Terminal-Bench 2.1 पर 83.3 प्रतिशत शामिल है। Mistral का नया 8B Robostral Navigate एक RGB कैमरा का उपयोग करता है—बिना गहराई, LiDAR, या कई कैमरों के—और R2R-CE पर कंपनी-रिपोर्टेड 76.6 प्रतिशत पोस्ट करता है।
[02:00] एजेंट स्टैक रिलीज रीडआउट: OpenAI Codex rust-v0.144.1, rust-v0.144.0
OpenAI ने दो Codex रिलीज़ भेजीं: rust-v0.144.0 प्रमाणीकरण, अनुमोदन, ट्रांसपोर्ट संगतता और रनटाइम व्यवहार का विस्तार करता है, जबकि rust-v0.144.1 टारगेटेड इंस्टॉलर और कोड मोड विश्वसनीयता फिक्स के साथ आगे बढ़ता है। सबसे महत्वपूर्ण वर्कफ़्लो परिवर्तन यह है कि MCP टूल्स को प्रायोगिक ऑप्ट-इन की आवश्यकता के बिना इंटरैक्टिवली प्रमाणीकरण का अनुरोध कर सकते हैं। ऐप-सर्वर होस्ट रनटाइम पर भी Codex प्रमाणीकरण प्रदान कर सकते हैं और सफल लॉगिन को होस्ट किए गए पेज पर रीडायरेक्ट कर सकते हैं। उस फ़्लो के नीचे, चेंजलॉग में सीरियलाइज़्ड शेयर्ड MCP OAuth क्रेडेंशियल स्टोर शामिल हैं, जो इंटीग्रेशन को शेयर्ड OAuth स्टेट बनाए रखने के लिए एक परिभाषित तंत्र देते हैं।
दूसरा ठोस तंत्र नया writes ऐप-अप्रूवल मोड है। इस मोड में, घोषित रीड-ओनली एक्शन की अनुमति है, लेकिन राइट्स प्रॉम्प्ट ट्रिगर करते हैं। यह बिल्डर्स को हर ऐप एक्शन को समान मानने की तुलना में अधिक विशिष्ट अनुमोदन सीमा देता है। रिलीज़ लंबे समय से चल रहे प्रमाणित कार्य को भी बेहतर बनाती है: ऐप सेशन अब होस्टेड codex_apps कनेक्टर के लिए समाप्त प्रमाणीकरण को रिफ्रेश करते हैं। डिवाइस-कोड लॉगिन चेतावनियों को अपडेट किया गया था ताकि यह समझाया जा सके कि उपयोगकर्ता फ़िशिंग प्रयासों को कैसे पहचान सकते हैं और रोक सकते हैं।
ट्रांसपोर्ट और रनटाइम व्यवहार को भी व्यावहारिक फिक्स मिले। Responses WebSockets सिस्टम प्रॉक्सी और कस्टम सर्टिफिकेट अथॉरिटी का सम्मान करते हुए लो-लेटेंसी ट्रांसपोर्ट का उपयोग करना जारी रखते हैं। Windows पर, सैंडबॉक्स सेशन राइटेबल रूट्स में फ़ाइलें हटा सकते हैं और मैनेज्ड प्राइमरी रनटाइम तक पहुंच सकते हैं। OpenAI ने Intel macOS कोड मोड क्रैश, टर्मिनल कंट्रोल सीक्वेंस जो TUI रेंडरिंग या रीज्यूम्ड कन्वर्सेशन हिस्ट्री को करप्ट कर सकते थे, और उन ChatGPT थ्रेड्स को भी फिक्स किया जिनका कम्पैक्शन डेटा एक रिटायर्ड मॉडल का संदर्भ देता है। वे थ्रेड्स अब वर्तमान में चयनित मॉडल के साथ रिट्राई करते हैं।
rust-v0.144.1 फॉलो-अप डिस्ट्रीब्यूशन फेलियर पर केंद्रित है। स्टैंडअलोन इंस्टॉल अब तब फेल नहीं होते जब GitHub कॉम्पैक्ट या रीऑर्डर किया गया रिलीज मेटाडेटा रिटर्न करता है। macOS पैकेज इंस्टॉल अब Codex एक्ज़ीक्यूटेबल के साथ-साथ कोड-मोड होस्ट को भी एक्सपोज़ करते हैं। यदि वह साथी होस्ट बाइनरी उपलब्ध नहीं है, तो कोड मोड अप्रयोज्य होने के बजाय एम्बेडेड रनटाइम पर फॉलबैक करता है। सामूहिक रूप से, ये परिवर्तन उन टीमों के लिए महत्वपूर्ण हैं जो मैनेज्ड एनवायरनमेंट में Codex को एम्बेड कर रही हैं जहां प्रमाणीकरण, प्रॉक्सी, सर्टिफिकेट, पैकेजिंग और अप्रूवल पॉलिसी यह निर्धारित कर सकती हैं कि कोई एजेंट वर्कफ़्लो चलता है या नहीं।
बिल्डर्स को विशेष रूप से ध्यान देना चाहिए कि writes मोड घोषित रीड-ओनली एक्शन को कैसे वर्गीकृत करता है और रियल ऐप इंटीग्रेशन में प्रॉम्प्ट कहाँ दिखाई देते हैं। अगली बात यह देखना है कि क्या इंस्टॉलर मेटाडेटा हैंडलिंग और एम्बेडेड-रनटाइम फॉलबैक rust-v0.144.1 द्वारा विशेष रूप से संबोधित पैकेज कॉन्फ़िगरेशन में कोड मोड फेलियर को खत्म करते हैं।
[03:28] OpenAI GPT-5.6 को Sol, Terra और Luna में विभाजित करता है
OpenAI ने GPT-5.6 को एक single undifferentiated endpoint के बजाय एक three-model family के रूप में launch किया है। Sol complex reasoning, coding, और agentic workflows के लिए flagship tier है, जिसकी particular strength command-line और multi-step coding tasks के आसपास positioning है। Terra इसके नीचे balanced, lower-cost option के रूप में है जो everyday coding, reasoning, और agentic work के लिए है। Luna सबसे fast और most affordable tier है, जो high-volume या latency-sensitive jobs के लिए aimed है जिसमें chat, classification, और lightweight agentic workflows शामिल हैं। तीनों OpenAI API के through available हैं, और unsuffixed gpt-5.6 alias Sol पर route करता है।
दो implementation details इसे builders के लिए relevant बनाती हैं। पहली, official Sol API page एक 1,050,000-token context window और 128,000-token maximum output list करती है। यह long working contexts और long generated results के लिए substantial room बनाता है बिना यह claim किए कि हर task को उन limits का consumption चाहिए। दूसरी, family clear token-price steps establish करती है। Per million input और output tokens, Sol पांच और तीस dollars costs करता है, Terra दो dollars fifty और fifteen dollars costs करता है, और Luna एक और six dollars costs करता है। वे gaps model routing को एक architectural choice बनाती हैं later cost-optimization exercise के बजाय।
Responses API भी Programmatic Tool Calling और beta multi-agent capabilities provide करती है। तीन tiers के साथ मिलकर, यह teams को expensive, complex coding work को routine reasoning और fast, repetitive agent operations से separate करने के लिए एक supported basis देती है। एक workflow Sol को hardest multi-step jobs के लिए reserve कर सकती है जबकि Terra या Luna का evaluation वहां करेगी जहां उनकी stated positioning task से match करती है।
Practical implication यह है कि GPT-5.6 adoption को workflow stage per measure किया जाना चाहिए, एक family-wide judgment के through नहीं। आगे देखने वाली बात यह है कि builders real agent pipelines को Sol, Terra, और Luna के बीच कैसे divide करते हैं एक बार quality, latency, context usage, और token spend एक साथ measure हो जाएं।
[05:15] SpaceXAI Ships Grok 4.5 Through Its Responses API
SpaceXAI ने अपने Responses API के through Grok 4.5 release किया है, model को specifically coding-agent workloads के लिए positioning करते हुए। Announcement तीन variables को एक offering में रखता है जो builders routinely balance करते हैं: benchmark results, generation speed, और token cost। यह इसे एक single leaderboard number के बारे में कम और उसके बारे में अधिक है कि क्या एक model repeated agent runs की performance और economics में fit हो सकता है।
Capability पर, SpaceXAI claim करता है कि Grok 4.5 DeepSWE 1.0 पर 62.0 percent, Terminal-Bench 2.1 पर 83.3 percent, और SWE-Bench Pro पर 64.7 percent score करता है। वे company-reported results हैं, इसलिए उनसे evaluation के starting points के रूप में व्यवहार करना सबसे अच्छा है team की own repositories, tasks, और acceptance criteria पर testing के substitutes के रूप में नहीं। फिर भी, named benchmarks builders को concrete reference points देते हैं जो software-engineering और terminal-oriented work को span करते हैं।
Second mechanism serving performance और price है। SpaceXAI कहता है कि Grok 4.5 80 tokens per second पर run करता है। यह $2 per million input tokens और $6 per million output tokens costs करता है। Agent workflows के लिए, वे figures together matter करती हैं: input pricing large prompts और accumulated task context को affect करती है, जबकि output pricing long generated responses को affect करती है। Throughput एक और practical input provide करती है जब यह estimate करने में कि एक run कितनी जल्दी generated tokens produce कर सकता है।
Builder implication straightforward है: Grok 4.5 अब benchmark performance alone के बजाय published capability, throughput, और cost figures का use करके एक API model के रूप में evaluate किया जा सकता है। Teams अपने representative coding tasks पर इसके measured behavior की company के claims के साथ compare कर सकती हैं, फिर successful runs के token economics calculate कर सकती हैं।
आगे देखने वाली बात यह है कि वे published results reported benchmarks के बाहर कैसे translate होते हैं। Useful evidence वह होंगे जो repository-level evaluations होंगे जो task completion को generated-token volume, response speed, और Responses API के through total input-output cost के साथ measure करते हैं।
[07:02] GPT-Live ChatGPT में फुल-डुप्लेक्स वॉइस लाता है
OpenAI ने GPT-Live पेश किया, एक नया फुल-डुप्लेक्स वॉइस-मॉडल परिवार जो अब ChatGPT वॉइस को शक्ति प्रदान करता है। महत्वपूर्ण बदलाव केवल स्पीच आउटपुट नहीं है: GPT-Live प्राकृतिक मानव-AI इंटरैक्शन के लिए डिज़ाइन किया गया है, जो एक साथ सुनने और बोलने में सक्षम है। OpenAI दो मॉडल का नाम GPT-Live-1 और GPT-Live-1 mini रखता है, और यह परिवार GPT-5.6 से अलग है।
पहला ठोस तंत्र है समकालिक इनपुट और आउटपुट। GPT-Live बोलते हुए सुन सकता है, इसके बजाय यह आवश्यकता नहीं कि हर इंटरैक्शन स्पष्ट रूप से यूजर टर्न के बाद मॉडल टर्न के क्रम में समाप्त हो। OpenAI यह भी कहता है कि मॉडल प्रति सेकंड कई बार इंटरैक्शन निर्णय ले सकता है। बिल्डर्स के लिए, यही मुख्य रनटाइम व्यवहार है: एक वॉइस अनुभव जैसे-जैसे इंटरैक्शन सामने आता है, उसका जवाब दे सकता है, इसके बजाय यह हर बोले गए योगदान को पूर्ण ब्लॉक मानने और फिर तय करने से पहले कि आगे क्या होगा।
दूसरा तंत्र है डेलीगेशन। लॉन्च पर, GPT-Live गहरे काम को GPT-5.5 को सौंप सकता है। इससे अनुभव के अंदर एक स्पष्ट कार्यात्मक विभाजन बनता है: GPT-Live लाइव इंटरैक्शन संभालता है, जबकि एक अलग मॉडल उन कार्यों को ले सकता है जिन्हें गहरी प्रोसेसिंग की आवश्यकता है। OpenAI ने GPT-Live को GPT-5.6 पर चलने के रूप में प्रस्तुत नहीं किया है, इसलिए इन परिवारों को एक आर्किटेक्चर या प्रोडक्ट क्लेम में नहीं मिलाया जाना चाहिए।
बिल्डर्स के लिए इसका मतलब है कि वॉइस-एजेंट वर्कफ़्लो को निरंतर संवादात्मक निर्णयों को ध्यान में रखना होगा, न कि केवल ट्रांसक्रिप्शन के बाद टेक्स्ट-मॉडल रिस्पांस और सिंथेसाइज़्ड प्लेबैक। डेलीगेशन व्यवहार भी टीमों को एक ठोस पैटर्न देता है जिसका मूल्यांकन करना चाहिए: तत्काल इंटरैक्शन को रिस्पॉन्सिव रखें जबकि गहरे कार्यों को कहीं और रूट करें।
उपलब्धता का विवरण महत्वपूर्ण है। GPT-Live पहले से ही ChatGPT वॉइस को शक्ति प्रदान करता है, लेकिन OpenAI ने API को जल्द आने वाला बताया है। देखने की अगली बात खुद API है: विशेष रूप से, OpenAI फुल-डुप्लेक्स इंटरैक्शन, बार-बार निर्णय-निर्माण, और डेलीगेशन को डेवलपर्स के सामने कैसे प्रस्तुत करता है। जब तक ये विवरण नहीं आते, व्यावहारिक निष्कर्ष मॉडल परिवार और उसके प्रोडक्ट व्यवहार है, न कि कोई माना गया रिक्वेस्ट फॉर्मेट या इंटीग्रेशन आर्किटेक्चर।
[08:55] Mistral ने कैमरा-ओनली रोबोट नेविगेशन के लिए 8B Robostral Navigate पेश किया
Mistral ने Robostral Navigate पेश किया है, एक 8-बिलियन-पैरामीटर मॉडल जो रोबोटिक्स नेविगेशन पर केंद्रित है। मुख्य परिणाम कंपनी-रिपोर्टेड R2R-CE पर 76.6 प्रतिशत है, लेकिन बिल्डर्स के लिए अधिक तुरंत उपयोगी विवरण सेंसिंग सेटअप है: Robostral Navigate एक RGB कैमरा का उपयोग करता है। Mistral स्पष्ट रूप से कहता है कि मॉडल को डेप्थ सेंसर, LiDAR, या एकाधिक कैमरों की आवश्यकता नहीं है।
ये दो ठोस तंत्र हैं जिन्हें अलग रखना है। पहला है खुद मॉडल: R2R-CE पर Mistral द्वारा मूल्यांकन किया गया एक 8B नेविगेशन मॉडल। दूसरा है इनपुट बाधा: एकल मानक RGB व्यू, रंग, गहराई, लेजर रेंजिंग, या कई कैमरा फीड्स के संयोजन के बजाय। यह स्थापित नहीं करता कि मॉडल हर भौतिक वातावरण में कैसे व्यवहार करेगा, लेकिन यह रोबोटिक्स टीमों को जांच के लिए एक बहुत संकरा हार्डवेयर धारणा देता है।
बिल्डर्स के लिए, यह वर्कफ़्लो की शुरुआत में महत्वपूर्ण है। नेविगेशन प्रोटोटाइप अक्सर उन निर्णयों से शुरू होता है कि कौन से सेंसर स्थापित किए जाने चाहिए, इससे पहले कि मॉडल मूल्यांकन शुरू हो सके। Mistral की घोषणा से पता चलता है कि Robostral Navigate का मूल्यांकन करने वाली टीमें पहला प्रयोग कैमरा-ओनली परसेप्शन के आसपास तैयार कर सकती हैं, इस धारणा के बिना कि डेप्थ हार्डवेयर, LiDAR, या मल्टी-कैमरा रिग इस मॉडल के लिए अनिवार्य है। यह परीक्षण प्रश्न को सरल बना सकता है: क्या मॉडल की रिपोर्ट की गई नेविगेशन क्षमता टीम के लक्षित वातावरण में एक RGB स्ट्रीम का उपयोग करके स्थानांतरित होती है।
बेंचमार्क नंबर को Mistral के दावे के रूप में लेबल किया जाना चाहिए। स्रोत R2R-CE स्कोर, पैरामीटर काउंट और सेंसर कॉन्फ़िगरेशन प्रदान करता है, लेकिन यह मॉडल की आंतरिक आर्किटेक्चर, आउटपुट प्रिमिटिव्स, रनटाइम आवश्यकताएं, API सतह, या उस मूल्यांकन के बाहर के व्यवहार को निर्दिष्ट नहीं करता। बिल्डर्स को उन खाली जगहों को भरने से बचना चाहिए।
आगे देखने के लिए रिपोर्ट किए गए 76.6 प्रतिशत से परे साक्ष्य है: विशेष रूप से यह कि मूल्यांकन यह दर्शाते हैं कि एक सिंगल RGB कैमरा कहां पर्याप्त है और कहां गहराई, LiDAR, या अतिरिक्त व्यूपॉइंट की अनुपस्थधिक सीमित करने वाली हो जाती है। तब तक, Robostral Navigate एक ठोस कैमरा-ओनली नेविगेशन मॉडल है जिसका परीक्षण करें, यह प्रमाण नहीं है कि हर रोबोट या वातावरण के लिए समृद्ध सेंसिंग अनावश्यक है।
[10:54] OpenAI का ChatGPT Work लक्ष्यों को पूर्ण प्रोजेक्ट आर्टिफैक्ट में बदलता है
OpenAI ने ChatGPT Work पेश किया है, एक एजेंट जो लक्ष्य लेकर उसे ऐप्स और फाइलों में पूर्ण कार्य में बदलने के लिए बनाया गया है। 9 जुलाई को प्रकाशित, यह घोषणा उत्पाद को महत्वाकांक्षी, विस्तारित प्रोजेक्ट्स के इर्दगिर्द स्थित करती है, अलग-थलग प्रश्नों या एक बार के जेनरेट किए गए आर्टिफैक्ट्स के बजाय। ChatGPT Work जरूरत पड़ने पर घंटों तक एक प्रोजेक्ट के साथ रह सकता है, इसे एक क्रम में कार्य जारी रखने का समय देता है, एक सिंगल रिस्पॉन्स के बाद समाप्त होने के बजाय।
दो तंत्र वर्कफ़्लो को परिभाषित करते हैं। पहला, एजेंट कार्य को चरणों में तोड़ता है और उपयोगकर्ता के ऐप्स और फाइलों में कार्य करता है। यह प्रोजेक्ट को खुद कार्य की इकाई बनाता है: एक लक्ष्य में प्रासंगिक सामग्री एकत्र करना, कई चरणों से गुजरना और कार्य जहां belongs वहां आउटपुट तैयार करना शामिल हो सकता है। दूसरा, ChatGPT Work कई ठोस आर्टिफैक्ट प्रकार बना सकता है, जिसमें शीट्स, स्लाइड्स, डॉक्यूमेंट्स और वेब ऐप्स शामिल हैं। OpenAI का कहना है कि एजेंट GPT-5.6 द्वारा संचालित है।
बिल्डर्स के लिए, महत्वपूर्ण बदलाव प्रॉम्प्ट-सेंट्रिक इंटरैक्शन से असाइनमेंट्स की ओर है जिनमें अवधि, कई चरण और स्पष्ट डिलिवरेबल्स हों। एक उपयोगी एजेंट टास्क अब "इस सवाल का जवाब दें" जैसा नहीं बल्कि "इस प्रोजेक्ट को लक्ष्य से पूर्ण आर्टिफैक्ट सेट तक ले जाएं" जैसा वर्णित किया जा सकता है। यह वर्कफ़्लो डिज़ाइन को स्रोत ऐप्स और फाइलों, इच्छित आउटपुट्स और प्रोजेक्ट की सीमा को स्पष्ट रूप से परिभाषित करने की ओर स्थानांतरित करता है ताकि एजेंट विस्तारित अवधि में प्रगति करता रहे।
तुरंत का अवसर पुनरावर्ती ज्ञान-कार्य प्रक्रियाओं को उन आर्टिफैक्ट्स के आसपास पैकेज करना है जो टीमें पहले से उपयोग करती हैं: एक स्प्रेडशीट, एक प्रेजेंटेशन, एक डॉक्यूमेंट, या एक कार्यशील वेब ऐप, संभवतः同一 प्रोजेक्ट के हिस्सों के रूप में उत्पादित। आगे देखने के लिए यह है कि डेवलपर्स और टीमें घंटों तक फैले कार्य का मूल्यांकन कैसे करती हैं: केवल रिस्पॉन्स क्वालिटी से नहीं, बल्कि यह देखकर कि चरण मूल लक्ष्य के साथ संरेखित रहते हैं और परिणामी आर्टिफैक्ट्स का संग्रह पूर्ण कार्य है या नहीं।
[12:46] Microsoft का Flint एजेंट्स को चार्ट बनाने के लिए एक कॉम्पैक्ट भाषा देता है
Microsoft ने Flint जारी किया है, एक ओपन-सोर्स विज़ुअलाइज़ेशन भाषा जो विशेष रूप से AI एजेंट्स को कॉम्पैक्ट स्पेसिफिकेशन से अभिव्यंजक चार्ट बनाने में मदद करने के लिए बनाई गई है। प्रोजेक्ट Microsoft Research से आया है, और इसके लॉन्च ने Hacker News पर 344 का स्कोर आकर्षित किया, जो एजेंट्स और डेटा विज़ुअलाइज़ेशन पर काम करने वाले डेवलपर्स से मजबूत प्रारंभिक रुचि दर्शाता है।
Flint जो समस्या हल करता है वह व्यावहारिक है: छोटे चार्ट स्पेसिफिकेशन एजेंट्स और लोगों के लिए लिखना आसान है, लेकिन Microsoft का कहना है कि वे अक्सर निरुत्साहित परिणाम देते हैं। अधिक विस्तृत विज़ुअलाइज़ेशन प्रोग्राम बेहतर चार्ट दे सकते हैं, फिर भी वे मनुष्यों के लिए निरीक्षण और संपादन करना कठिन होते हैं। Flint इन चरम सीमाओं के बीच अपनी स्थिति बनाता है, जेनरेट किए गए चार्ट कोड को अपारदर्शी अंतिम आर्टिफैक्ट मानने के बजाय कॉम्पैक्ट, मानव-संपादन योग्य स्पेसिफिकेशन का उपयोग करता है।
दो तंत्र इसे एजेंट वर्कफ़्लो में उपयोगी बनाते हैं। पहला, Flint अपने स्पेसिफिकेशन को तीन स्थापित विज़ुअलाइज़ेशन सिस्टम में कंपाइल करता है: Vega-Lite, ECharts, और Chart.js। यह बिल्डर को एकाधिक रेंडरिंग टारगेट देता है बिना किसी एक टारगेट के फॉर्मेट में सीधे एजेंट के सोर्स रिप्रेजेंटेशन को लिखने की आवश्यकता के। दूसरा, Flint में एक MCP चार्ट सर्वर शामिल है। यह MCP-संगत एजेंट को टूल-संचालित वर्कफ़्लो के हिस्से के रूप में भाषा का उपयोग करने के लिए एक परिभाषित एकीकरण बिंदु देता है।
बिल्डरों के लिए, तत्काल निहितार्थ यह है कि चार्ट जेनरेशन एक समीक्षा-योग्य हैंडऑफ़ बन सकता है, न कि केवल एक जेनरेटेड इमेज या लाइब्रेरी-विशिष्ट कोड का एक बड़ा ब्लॉक। एक व्यक्ति कॉम्पैक्ट Flint स्पेसिफिकेशन का निरीक्षण और संपादन कर सकता है, जबकि कंपाइलर चयनित विज़ुअलाइज़ेशन सिस्टम में अनुवाद संभालता है। ओपन-सोर्स रिलीज़ यह भी संभव बनाती है कि उस वर्कफ़्लो का सीधे मूल्यांकन किया जा सके, बिना किसी क्लोज़्ड चार्ट-जेनरेशन प्रोडक्ट पर निर्भर हुए।
आगे देखने की बात यह है कि क्या Flint का कॉम्पैक्ट फॉर्मेट तीनों कंपाइलेशन टारगेट में वास्तविक डैशबोर्ड और एनालिटिकल कार्य के लिए पर्याप्त एक्सप्रेसिव कंट्रोल लगातार बनाए रखता है। अपनाना इस पर भी निर्भर होगा कि क्या एजेंट-टूल डेवलपर्स MCP सर्वर का व्यावहारिक चार्टिंग इंटरफ़ेस के रूप में उपयोग करते हैं और क्या ह्यूमन एडिटर्र को Flint स्पेसिफिकेशन खुद टारगेट फॉर्मेट की तुलना में सार्थक रूप से संशोधित करना आसान लगता है।
[14:42] लैटेंट मेमोरी पैलेस निरंतर नियंत्रण में अनुकूली तर्क लाता है
लैटेंट मेमोरी पैलेस निरंतर-नियंत्रण पॉलिसी के लिए भाषा स्थान में सीधे तर्क करने के बिना अनुकूली रूप से तर्क करने का एक तरीका प्रस्तावित करता है। arXiv 2607.08724 में, चुनिंग झू, ईवा झू, और होसे बारेरोस तर्क देते हैं कि भाषा प्रतिनिधित्व स्पैटियल समझ और सटीक गतिविधियों के लिए पर्याप्त कणिकता प्रदान नहीं कर सकते, भले ही भाषा मॉडल जवाब देने से पहले कितने विचार का उपयोग करते हैं, यह भिन्न कर सकते हैं।
पेपर का पहला ठोस तंत्र एक ऑटोरेग्रेसिव लैटेंट स्पेस है जो मेमोरी पैलेस की तरह व्यवस्थित है। उस स्थान के अंदर सूचना पुनर्प्राप्ति इटरेटिव और अनुकूली है, जो पॉलिसी को प्रत्येक क्रिया के लिए निश्चित मात्रा में कंप्यूटेशन पर बाध्य होने के बजाय अपनी तर्क प्रक्रिया में भिन्नता करने की अनुमति देती है। लेखक इस तर्क प्रक्रिया को ऑटोरेग्रेसिव लैटेंट डिस्ट्रिब्यूशन के साथ वैरिएशनल इन्फरेंस के रूप में फॉर्मूलेट करते हैं। फिर वे एक लैटेंट-स्पेस रीइन्फोर्समेंट लर्निंग तकनीक प्राप्त करते हैं जो संबंधित वैरिएशनल लोअर बाउंड को ट्रैक्टेबल रूप से ऑप्टिमाइज़ करने के लिए डिज़ाइन की गई है।
वह विधि LMP-π उत्पन्न करती है, एक नियंत्रण पॉलिसी जिसके बारे में सारांश कहता है कि यह सिमुलेशन और वास्तविक-विश्व डोमेन में मजबूत अनुभवजन्य प्रदर्शन प्राप्त करती है। यह इंटरप्रेटेबल, अनुकूली टेस्ट-टाइम कंप्यूट आवंटन भी प्रदर्शित करती है: कुछ नियंत्रण निर्णय जल्दी से लिए जा सकते हैं, जबकि अन्य को लंबेरा लैटेंट विचार मिलता है। सारांश संख्यात्मक बेंचमार्क स्कोर, टास्क काउंट, या प्रतिशत सुधार प्रदान नहीं करता, इसलिए हेडलाइन परिणाम गुणात्मक है, रिपोर्ट किया गया कोई नंबर नहीं।
दूसरा तंत्र LMP-tok है, उसी फ्रेमवर्क से प्राप्त एक वेरिएबल-लेंथ एक्शन टोकनाइज़र। सारांश के अनुसार, यह डाउनस्ट्रीम ऑटोरेग्रेसिव पॉलिसी को महत्वपूर्ण रूप से बेहतर बनाता है। यह लैटेंट तर्क को एक्शन रिप्रेजेंटेशन से जोड़ता है: योगदान केवल एक पॉलिसी नहीं है जो अनुकूली रूप से कंप्यूट खर्च कर सकती है, बल्कि एक टोकनाइज़र भी है जो वेरिएबल लेंथ पर एक्शन का प्रतिनिधित्व कर सकता है।
बिल्डरों के लिए, यह लैटेंट तर्क को हाई-लेवल एजेंट प्लानिंग और लो-लेवल कंट्रोल एक्ज़ीक्यूशन के बीच रखता है। यह उन एजेंटों के लिए एक शोध दिशा प्रदान करता है जिन्हें प्रत्येक आंतरिक स्टेप को भाषा में अनुवादित किए बिना हेरफेर, नेविगेट या अन्यथा सटीक निरंतर एक्शन प्रस्तुत करने होंगे। आगे देखने की बात यह है कि पूर्ण पेपर का टास्क-लेवल मूल्यांकन, कंप्यूट-आवंटन व्यवहार, और साक्ष्य कि LMP-π या LMP-tok कब सबसे बड़े लाभ प्रदान करता है।
[16:41] साइटेशन जज्स को बायस कैलिब्रेशन की जरूरत है, सिर्फ हाई F1 नहीं
यह पेपर डीप-रिसर्च एजेंट्स के लिए एक व्यावहारिक मूल्यांकन प्रश्न पूछता है: क्या साइटेशन वेरिफायर को फ्रंटियर मॉडल की जरूरत है, या क्या सस्ते जज एक उपयोगी ट्रेनिंग सिग्नल प्रदान कर सकते हैं? arXiv 2607.08700 में, Ethan Leung, Elias Lumer, और Corey Feld उन LLM जज की जांच करते हैं जिनका उपयोग साइटेशन-क्वालिटी रूब्रिक्स को स्कोर करने के लिए किया जाता है, विशेष रूप से जब वे स्कोर reinforcement learning में रिवॉर्ड बन जाते हैं।
मूल्यांकन साइटेशन क्वालिटी को हर attribution-citation जोड़ी के लिए दो निर्णयों में विभाजित करता है: क्या स्रोत प्रासंगिक है और क्या यह लिखे गए दावे का तथ्यात्मक समर्थन करता है। लेखक तीन मॉडल परिवारों के आठ ऑफ-द-शेल्फ LLM जज का परीक्षण 1,248 रूब्रिक निर्णयों वाले एक एडवरसैरियल लॉन्ग-फॉर्म बेंचमार्क पर करते हैं। हर निर्णय की मानव-समीक्षा की गई थी, और 378 कठिन मामलों का निर्णय जज के बीच असहमति के बाद किया गया।
मुख्य परिणाम यह है कि सस्ते जज दोनों आयामों पर प्रतिस्पर्धी बने हुए हैं। GPT-5-mini सबसे मजबूत स्रोत-प्रासंगिकता पास-क्लास F1 प्रदान करता है, जो 0.908 है, जिसका कप्पा 0.636 है। तथ्यात्मक समर्थन के लिए, जज सांख्यिकीय रूप से अविभेद्य हैं क्योंकि उनके कॉन्फिडेंस इंटरवल ओवरलैप करते हैं, इसलिए बेंचमार्क एक मॉडल की पहचान नहीं करता जो प्रभावी हो।
लेकिन तुलनीय F1 स्कोर तुलनीय रिवॉर्ड व्यवहार का मतलब नहीं है। जज पास-रेट ड्रिफ्ट, फॉल्स-पॉजिटिव रेट, और फॉल्स-नेगेटिव रेट में काफी भिन्न हैं। वे दिशात्मक पूर्वाग्रह महत्वपूर्ण हैं क्योंकि एक reinforcement-learning सिस्टम केवल जज के स्कोर की रिपोर्ट नहीं करता; यह इसके विरुद्ध अनुकूलन करता है। एक वेरिफायर जो बार-बार बिना समर्थन वाले दावों को स्वीकार करता है एक विफलता मोड को पुरस्कृत कर सकता है, जबकि अत्यधिक फॉल्स नेगेटिव वाला वेरिफायर समर्थित दावों को हतोत्साहित कर सकता है।
बिल्डर्स के लिए, यह साइटेशन बेंचमार्क और ट्रेनिंग लूप के बीच एक ठोस मापन परत बनाता है। जज चयन में रूब्रिक आयाम और त्रुटि दिशा द्वारा कैलिब्रेशन शामिल होना चाहिए, प्रदर्शन को एक ही स्केलर स्कोर में नहीं समेटना चाहिए। यह यह भी सुझाव देता है कि कम-लागत वाले जज तब व्यवहार्य हो सकते हैं जब उनकी बायस प्रोफाइल इरादे से मेल खाती है। आगे देखें कि क्या ये कैलिब्रेशन निष्कर्ष एडवरसैरियल लॉन्ग-फॉर्म साइटेशन एट्रिब्यूशन से आगे एजेंट ट्रेनिंग में उपयोग किए जाने वाले अन्य रूब्रिक-आधारित रिवॉर्ड तक सामान्यीकृत होते हैं।
[18:34] OpenAI ऑडिट में SWE-Bench Pro में शोर पाया गया
OpenAI ने SWE-Bench Pro का एक नया विश्लेषण प्रकाशित किया है जो लीडरबोर्ड पोजीशन द्वारा कोडिंग मॉडल चुनने वाले किसी भी व्यक्ति के लिए एक सीधा प्रश्न उठाता है: मापा गया प्रदर्शन मॉडल से कितना आता है, और कितना खराब मूल्यांकन कार्यों से आता है? SWE-Bench Pro एक लोकप्रिय कोडिंग बेंचमार्क है, लेकिन OpenAI के ऑडिट में इसके पब्लिक स्प्लिट में महत्वपूर्ण समस्याएं पाई गईं।
पहला ठोस आंकड़ा समीक्षा का दायरा है। पब्लिक स्प्लिट में 731 कार्य हैं। एक एजेंट-असिस्टेड डेटापॉइंट ऑडिट ने 200 टूटे हुए कार्यों की पहचान की, जबकि एक अलग मानव एनोटेशन ने 249 की पहचान की। उस कार्य के आधार पर, OpenAI का अनुमान है कि बेंचमार्क के लगभग 30 प्रतिशत कार्य टूटे हुए हैं। यह इतना बड़ा है कि गंभीर विश्वसनीयता और सटीकता चिंताएं पैदा करने के लिए, जब स्कोर का उपयोग मॉडल की तुलना के लिए किया जाता है।
दूसरा उपयोगी तंत्र OpenAI का "टूटा हुआ" क्या है, इसका विवरण है। विश्लेषण चार श्रेणियों की पहचान करता है: अत्यधिक कठोर परीक्षण, अपर्याप्त रूप से निर्दिष्ट प्रॉम्प्ट, कम टेस्ट कवरेज, और भ्रामक प्रॉम्प्ट। प्रत्येक अलग तरीके से परिणाम को विकृत कर सकता है। एक कार्य यथार्थशील समाधान को इसलिए अस्वीकार कर सकता है क्योंकि उसके परीक्षण बहुत संकीर्ण हैं, यह निर्दिष्ट नहीं करता कि मॉडल को क्या उत्पन्न करना चाहिए, कमज़ोर कवरेज के कारण महत्वपूर्ण व्यवहार को याद करता है, या मॉडल को गलत व्याख्या की ओर निर्देशित करता है।
बिल्डर्स के लिए, निहितार्थ यह नहीं है कि कोडिंग मूल्यांकन बेकार हैं। यह है कि एक एकल समग्र स्कोर को पूरे मॉडल-चयन निर्णय को नहीं उठाना चाहिए। बेंचमार्क परिणाम एजेंट क्षमता और कार्य सेट की गुणवत्ता दोनों को प्रतिबिंबित कर सकते हैं, इसलिए तुलना को कार्य और विफलता-श्रेणी के स्तर पर जांच की आवश्यकता है, इससे पहले कि वे वर्कफ़्लो परिवर्तनों को चलाएं।
देखने की अगली बात यह है कि क्या बेंचमार्क मेंटेनर प्रभावित SWE-Bench Pro कार्यों को संशोधित करते हैं, स्पष्ट वैधता मानदंड प्रकाशित करते हैं, या पुष्टि किए गए कार्यों को विवादित कार्यों से अलग करते हैं। यह भी देखें कि इस ऑडिट के बाद मॉडल वेंडर परिणाम कैसे रिपोर्ट करते हैं: सबसे उपयोगी प्रकटीकरण कच्चे बेंचमार्क प्रदर्शन को समीक्षा किए गए कार्य सेट पर प्रदर्शन से अलग करेंगे।
[20:25] UniClawBench Tests Proactive Agents Across Live, Multi-Turn Workflows
UniClawBench सक्रिय एजेंटों का मूल्यांकन करने का एक क्षमता-संचालित तरीका पेश करता है जो गतिशील, वास्तविक-दुनिया सेटिंग्स में रोजमर्रा के उपकरणों का संचालन करते हैं। पेपर Zhekai Chen, Chengqi Duan, और Kaiyue Sun से है और arXiv 2607.08768 के रूप में सूचीबद्ध है। इसका केंद्रीय तर्क यह है कि सैंडबॉक्स्ड, सिंगल-टर्न बेंचमार्क और परिदृश्य-आधारित वर्गीकरण एजेंट विफलताओं के निदान को कठिन बनाते हैं क्योंकि एक परिदृश्य कई अंतर्निहित मॉडल क्षमताओं को मिला सकता है।
बेंचमार्क पांच मूलभूत क्षमताओं के आसपास मूल्यांकन को पुनर्गठित करता है: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, और Cross-Platform Coordination। वह टैक्सोनॉमी 400 द्विभाषी वास्तविक-दुनिया के कार्यों का समर्थन करती है। हेडलाइन योगदान इसलिए एक नया मॉडल स्कोर या दावा किया गया प्रतिशत लाभ नहीं है; दिए गए सार में कोई बेंचमार्क प्रतिशत रिपोर्ट नहीं है। यह 400 कार्यों का वह संयोजन है जो एक क्षमता-स्तर की संरचना के साथ आता है जिसका उद्देश्य यह बताना है कि एजेंट क्यों विफल हुआ, न कि केवल यह कि एक व्यापक परिदृश्य पूरा हुआ या नहीं।
कार्यान्वयन भी ठोस है। स्टैटिक, प्रीरिकॉर्डेड उत्तरों की तुलना करने के बजाय, UniClawBench एजेंटों को लाइव Docker कंटेनरों में चलाता है और फाइन-ग्रेन्ड, स्टेप-बाय-स्टेप पूर्णता चेकपॉइंट के माध्यम से प्रगति को ग्रेड करता है। इसका क्लोज्ड-लूप मूल्यांकन तीन भूमिकाओं का उपयोग करता है: एक एक्जीक्यूटर एजेंट कार्य करता है, एक छिपा हुआ सुपरवाइज़र एजेंट व्यवहार का मूल्यांकन करता है, और एक यूज़र एजेंट यथार्थवादी मल्टी-टर्न मानव फीडबैक प्रदान करता है। सुपरवाइज़र को छिपाए रखना ग्रेडिंग मानदंडों को इंटरैक्शन में लीक होने से रोकने के लिए डिज़ाइन किया गया है।
बिल्डर्स के लिए, यह संकरे टूल-कॉल टेस्ट और अविभेदित एंड-टू-एंड सक्सेस रेट के बीच एक मापन परत बनाता है। एक विफल वर्कफ़्लो को क्षमता श्रेणियों और इंटरमीडिएट चेकपॉइंट के माध्यम से जांचा जा सकता है, जिससे मॉडल की एक्सप्लोरेशन या लॉन्ग-कॉन्टेक्स्ट कमज़ोरी को फ्रेमवर्क-लेवल कोऑर्डिनेशन समस्या से अलग करना आसान हो जाता है। यह उन टीमों के लिए मायने रखता है जो तय कर रही हैं कि मॉडल, प्रॉम्प्ट, टूल्स या ऑर्केस्ट्रेशन बदलना है या नहीं।
देखने की अगली बात यह है कि क्या बेंचमार्क की क्षमता श्रेणियां और क्लोज्ड-लूप ग्रेडिंग लेखकों द्वारा मूल्यांकन किए गए अत्याधुनिक सिस्टम में बेस-मॉडल सीमाओं को एजेंट-फ्रेमवर्क डिज़ाइन चॉइस से लगातार अलग करती हैं।
[22:13] WebSwarm Recursively Delegates Deep-and-Wide Web Research
WebSwarm वेब-सर्च एजेंटों के लिए एक प्रोग्रेसिव रिकर्सिव डेलीगेशन फ्रेमवर्क पेश करता है जिन्हें गहराई और चौड़ाई दोनों की जरूरत है। पेपर Xiaoshuai Song, Liancheng Zhang, और Kangzhi Zhao द्वारा है, arXiv 2607.08662 के रूप में प्रकाशित। इसका स्टार्टिंग पॉइंट एक व्यावहारिक सीमा है: एक सिंगल ReAct-स्टाइल एजेंट का एक लंबा ट्रैजेक्टरी और सीमित कॉन्टेक्स्ट विस्तृत फॉलो-अप्स को आगे बढ़ाने और व्यापक कवरेज बनाए रखने दोनों को कठिन बनाता है। मौजूदा मल्टी-एजेंट दृष्टिकोण पैरलल एक्जीक्यूशन और एग्रीगेशन जोड़ते हैं, लेकिन लेखक रिकर्सिव डेप्थ, एडैप्टेबल कोलैबोरेशन, और एविडेंस-ग्राउंडेड एक्सपैंशन में शेष सीमाओं की पहचान करते हैं।
पहला ठोस मैकेनिज्म एजेंटिक सर्च नोड्स की एक डायनामिकली कंस्ट्रक्टेड हायरार्की है। हर नोड एक लोकल ऑब्जेक्टिव को एक सर्च मोड के साथ जोड़ता है जो यह स्पेसिफाई करता है कि उस नोड को सर्च और कोलैबोरेशन कैसे ऑर्गनाइज़ करना चाहिए। एक नोड अपने ऑब्जेक्टिव को सीधे सॉल्व कर सकता है या चाइल्ड नोड्स को डेलीगेट कर सकता है। एक बार पूरा होने के बाद, यह एविडेंस और रिज़ल्ट्स वापस ऊपर भेजता है। पैरेंट नोड्स तब दूसरी ब्रांच एक्सपैंड कर सकते हैं, अपनी दिशा रिवाइज़ कर सकते हैं, या जो चिल्ड्रन ने पाया उसका एग्रीगेशन कर सकते हैं। डीकम्पोज़िशन इसलिए इन्फरेंस के दौरान प्रोग्रेसिवली बिल्ट होता है, न कि एक फिक्स्ड प्लान के रूप में माना जाता है।
दूसरी तंत्र वेब पर सूचना की स्पष्ट संरचना में विस्तार को आधारित करती है। WebSwarm पहले यह पता लगाता है कि कार्य-प्रासंगिक सूचना कैसे व्यवस्थित है, फिर उस सूचना का उपयोग बाद के नोड विस्तार को मार्गदर्शन करने के लिए करता है। यह समान सहोदर नोड्स में प्रक्रिया-स्तरीय अनुभव का पुनः उपयोग भी करता है, जिससे संबंधित शाखाओं को पेड़ में कहीं और किए गए खोज कार्य से लाभ मिल सके।
लेखक चार नामित बेंचमार्क पर WebSwarm का मूल्यांकन करते हैं: BrowseComp-Plus, WideSearch, DeepWideSearch, और GISA। सारांश रिपोर्ट करता है कि यह गहन, चौड़े और संयुक्त खोज सेटिंग्स में एकल-एजेंट और बहु-एजेंट बेसलाइन से लगातार बेहतर प्रदर्शन करता है, लेकिन यह संख्यात्मक मार्जिन प्रदान नहीं करता।
निर्माताओं के लिए, यह जटिल अनुसंधान वर्कफ़्लो के लिए एजेंट-स्टैक रोडमैप पर पुनरावर्ती, साक्ष्य-प्रतिक्रियाशील ऑर्केस्ट्रेशन रखता है। अगले चरण में देखने के लिए मुख्य प्रश्न यह है कि पूर्ण पेपर गतिशील रूप से विस्तारित खोज पेड़ों की लागत, विलंबता और स्केलिंग व्यवहार को कैसे मापता है।
[24:05] ProjAgent प्रोसेड्योरल समानता द्वारा कोड पुनर्प्राप्त करता है
ProjAgent रिपॉजिटरी-स्तरीय कोड जनरेशन के लिए पुनर्प्राप्ति संकेत के रूप में प्रोसेड्योरल समानता प्रस्तुत करता है। arXiv 2607.08691 में, QiHong Chen, Aaron Imani, और Iftekir Ahmed एक निरंतर समस्या पर ध्यान केंद्रित करते हैं: एक लक्ष्य फ़ंक्शन लागू करने के लिए क्रॉस-फ़ाइल डिपेंडेंसी और प्रोजेक्ट-विशिष्ट परंपराओं को समझना आवश्यक है, लेकिन पारंपरिक पुनर्प्राप्ति अक्सर मुख्य रूप से शाब्दिक, संरचनात्मक या शब्दार्थ समानता की खोज करती है। यह विभिन्न पहचानकर्ताओं के तहत या विभिन्न एप्लिकेशन डोमेन में तुलनीय प्रक्रियाएं करने वाले रिपॉजिटरी फ़ंक्शन को मिस कर सकती है।
पहला ठोस तंत्र लक्ष्य विघटन है। ProjAgent लक्ष्य फ़ंक्शन को मध्यवर्ती तर्क चरणों में तोड़ता है, फिर एक एजेंटिक वर्कफ़्लो का उपयोग करके रिपॉजिटरी फ़ंक्शन पुनर्प्राप्त करता है जो प्रत्येक चरण में समान प्रोसेड्योरल व्यवहार प्रदर्शित करते हैं। प्रोसेड्योरल पुनर्प्राप्ति शब्दार्थ पुनर्प्राप्ति को प्रतिस्थापित नहीं करती। सिस्टम पुनर्प्राप्त प्रोसेड्योरल संदर्भ को पारंपरिक शब्दार्थ संदर्भ के साथ एकीकृत करता है, कोड जनरेशन के लिए एक समृद्ध रिपॉजिटरी संदर्भ तैयार करता है।
दूसरा तंत्र जनरेशन के बाद आता है। ProjAgent में एक रूढ़िवादी स्टैटिक-एनालिसिस फीडबैक लूप शामिल है जो कंपाइलर और स्टैटिक-एनालिसिस फीडबैक का उपयोग करके जेनरेट कोड को पुनरावर्ती रूप से मरम्मत करता है। सारांश व्यक्तिगत मरम्मत ऑपरेशन निर्दिष्ट नहीं करता, लेकिन यह स्पष्ट रूप से पुनर्प्राप्ति-समय संदर्भ निर्माण को फीडबैक-संचालित सुधार से अलग करता है।
REPOCOD पर, ProjAgent 41.14% Pass@1 प्राप्त करता है और लेखकों द्वारा मूल्यांकन की गई मौजूदा पुनर्प्राप्ति-आधारित बेसलाइन से बेहतर प्रदर्शन करता है। यह परिणाम पेपर के केंद्रीय दावे का समर्थन करता है कि प्रोसेड्योरल समानता रिपॉजिटरी-स्तरीय जनरेशन के लिए एक उपयोगी पुनर्प्राप्ति आयाम है, आज commonly used समानता संकेतों के alongside।
निर्माताओं के लिए, निहितार्थ यह है कि कोडिंग एजेंटों के लिए रिपॉजिटरी खोज को केवल साझा शब्दावली, संरचना या शब्दार्थ विषय ही नहीं, बल्कि फ़ंक्शन कार्य कैसे पूरा करते हैं, यह भी दर्शाना होगा। यह विशेष रूप से प्रासंगिक है जब पुन: प्रयोज्य कार्यान्वयन पैटर्न फ़ाइलों में वितरित हों या डोमेन-विशिष्ट नामों के पीछे छिपे हों। ProjAgent रिपॉजिटरी अनुक्रमण और कोड जनरेशन के बीच प्रोसेड्योरल पुनर्प्राप्ति रखता है, स्टैटिक फीडबैक बाद के सुधार चरण के रूप में प्रदान करता है। अगले चरण में देखना यह है कि प्रोसेड्योरल समानता अतिरिक्त रिपॉजिटरी बेंचमार्क में मदद करना जारी रखती है या नहीं और रिपोर्ट किए गए लाभ में से कितना पुनर्प्राप्ति बनाम मरम्मत लूप से आता है।
[25:57] SolarChain-Eval एनर्जी-मार्केट फिजिक्स के खिलाफ एजेंट्स का परीक्षण करता है
SolarChain-Eval विकेंद्रीकृत ऊर्जा बाजारों में स्वायत्त आर्थिक एजेंटों के परीक्षण के लिए एक भौतिकी-सीमित बेंचमार्क पेश करता है। शैक्षणिक पेपर, जो Shilin Ou, Yifan Xu, और Luyao Zhang द्वारा लिखा गया है और arXiv 2607.08681 के रूप में प्रकाशित है, उस अंतराल पर केंद्रित है जो तब दिखाई देता है जब एजेंट शुद्ध रूप से डिजिटल कार्यों को छोड़ देते हैं: एक नीति भौतिक रूप से अमान्य डेटा पर कार्य करते हुए बाजार उपयोगिता में सुधार कर सकती है, कृत्रिम तरलता का निर्माण कर सकती है, या अस्थिर शासन निर्णय उत्पन्न कर सकती है।
पहली ठोस तंत्र एक Gymnasium-संगत मार्कोव निर्णय प्रक्रिया है जो प्रति घंटे एजेंट निर्णयों के माध्यम से बाजार शासन का प्रतिनिधित्व करती है। प्रदर्शन को एक इनाम में न zusammen collapses करने के बजाय, SolarChain-Eval बाजार उपयोगिता, भौतिक सुरक्षा, स्लिपेज, क्रिया सहजता, स्थानिक न्यायसंगतता, और ऑडिटबिलिटी में नीतियों का मूल्यांकन करता है। यह आर्थिक लाभों की तुलना समान मूल्यांकन वातावरण के भीतर परिचालन व्यवहार और शासन गुणवत्ता से करना संभव बनाता है।
दूसरा तंत्र एक LLM-आधारित प्लानर/ऑडिटर परत है। प्लानर एपिसोड-स्तर की क्रिया सीमाएं और ऑडिट नियम परिभाषित करता है। ऑडिटर फिर उन क्रियाओं की समीक्षा और संशोधन करता है जिन्हें उच्च जोखिम के रूप में वर्गीकृत किया गया है। प्रत्येक हस्तक्षेप संरचित लॉग में कैप्चर किया जाता है जिसमें ट्रिगर सिग्नल, प्रस्तावित क्रियाएं, संशोधित क्रियाएं, और ऑडिट तर्क शामिल हैं। वे रिकॉर्ड इस बेंचमार्क को न केवल यह अध्ययन करने के लिए उपयोगी बनाते हैं कि हस्तक्षेप हुआ या नहीं, बल्कि यह भी कि एजेंट की क्रिया क्यों और कैसे बदली।
प्रयोग स्थिर, यादृच्छिक, अल्पदर्शी, reinforcement-learning, और RL-plus-LLM नीतियों की तुलना करते हैं। मुख्य निष्कर्ष एक स्पष्ट उपयोगिता-सुरक्षा ट्रेड-ऑफ है: RL एजेंट बाजार उपयोगिता में सुधार करते हैं लेकिन फिर भी असुरक्षित रूप से व्यवहार कर सकते हैं। जब शोधकर्ता भौतिकी दंड को हटाते हैं, तो इनाम-अधिकतमकरण करने वाले एजेंट अमान्य जनरेशन का शोषण करते हैं और कृत्रिम तरलता बढ़ाते हैं। प्लानर/ऑडिटर ऑडिटबिलिटी में सुधार करता है और चयनित जोखिमों को कम करता है।
बिल्डर्स के लिए, व्यावहारिक निहितार्थ यह है कि साइबर-भौतिक एजेंट मूल्यांकनों को स्पष्ट बाधाओं, बहुस्तरीय मीट्रिक, और निरीक्षण योग्य हस्तक्षेप रिकॉर्ड की आवश्यकता है, न कि केवल इनाम के। SolarChain-Eval एजेंट स्टैक के उस हिस्से के लिए एक ठोस बेंचमार्क आकार प्रदान करता है। आगे देखें कि इसकी प्लानर/ऑडिटर दृष्टिकोण इस ऊर्जा-बाजार सेटिंग से परे कितनी व्यापक रूप से सामान्यीकृत होता है।
[27:47] व्यावहारिक कतार
Codex 0.144 प्रमाणित MCP सत्रों और होस्ट किए गए लॉगिन फ्लो को प्रयोगात्मक प्लंबिंग के बजाय सामान्य परिनियोजन सतह बनाता है।
GPT-5.6 अब एक वास्तविक रूटिंग लैडर प्रदान करता है: सोल सबसे कठिन काम के लिए, टेरा संतुलित रोजमर्रा के काम के लिए, और लूना तेज, कम लागत वॉल्यूम के लिए।
Grok 4.5 प्रकाशित बेंचमार्क दावों, थ्रूपुट, और टोकन मूल्य निर्धारण को एक तुलना में रखता है, जबकि GPT-Live वॉइस को निरंतर पूर्ण-डुप्लेक्स इंटरैक्शन की ओर ले जाता है और Robostral परीक्षण करता है कि एक RGB कैमरे के साथ नेविगेशन कितनी दूर जा सकता है।
ChatGPT Work और Flint एजेंटों को समाप्त, संपादन योग्य आर्टिफैक्ट की ओर धकेलते हैं: एक तरफ प्रोजेक्ट आउटपुट और दूसरी तरफ कॉम्पैक्ट, मानव-पठनीय चार्ट विशिष्टताएं।
इवैल्यूएशन कहानियां दिन की सबसे मजबूत चेतावनी लेकर आती हैं। साइटेशन जजेस को बायस और एरर-रेट एनालिसिस की जरूरत है, SWE-Bench Pro में लगभग तीस प्रतिशत टूटे हुए टास्क हो सकते हैं, और UniClawBench का लक्ष्य फेलियर्स को एक स्कोर में छिपाने के बजाय क्षमता के आधार पर अलग करना है।
WebSwarm, ProjAgent, Latent Memory Palace, और SolarChain-Eval प्रत्येक संरचना को समस्या के करीब ले जाते हैं: रिकर्सिव एविडेंस गैदरिंग, प्रोसीजर-अवेयर कोड रिट्रीवल, लेटेंट कंट्रोल रीजनिंग, और फिजिक्स-कंस्ट्रेंड एजेंट इवैल्यूएशन।
NOVA: मैं NOVA हूं।
[ALLOY]: मैं ALLOY हूं, और यह AgentStack Daily है...
NOVA: OpenAI का टर्मिनल-आधारित कोडिंग एजेंट Codex rust .144 दो स्थिर रिलीज में आया। इसने इंटरैक्टिव MCP ऑथेंटिकेशन, शेयर्ड OAuth क्रेडेंशियल हैंडलिंग, होस्टेड लॉगिन रीडायरेक्ट, writes-only अप्रूवल बाउंड्री, प्रॉक्सी-अवेयर Responses WebSockets, और कस्टम सर्टिफिकेट सपोर्ट जोड़ा। पॉइंट-वन अपडेट ने इंस्टॉलेशन फेलियर्स ठीक किए, macOS पैकेजों में Code Mode host एक्सपोज किया, और एम्बेडेड-रनटाइम फॉलबैक पेश किया।
[ALLOY]: आज: Codex मजबूत auth, transport, approvals और packaging के साथ आगे है; GPT-5.6 Sol, Terra और Luna के रूप में आता है; Grok 4.5 Responses API में आता है; GPT-Live बोलते हुए सुनता है; और Mistral आठ-अरब-पैरामीटर मॉडल में कैमरा-ओनली नेविगेशन लाता है। आप यह भी सुनेंगे कि ChatGPT Work एक्सटेंडेड प्रोजेक्ट्स को कैसे हैंडल करता है, Flint एजेंट्स को एडिटेबल चार्ट लैंग्वेज कैसे देता है, और नई रिसर्च कंट्रोल मेमोरी, साइटेशन बायस, कोडिंग बेंचमार्क, प्रोएक्टिव वर्कफ्लोज, रिकर्सिव रिसर्च, प्रोसीजर-अवेयर रिट्रीवल, और एनर्जी-मार्केट सेफ्टी से कैसे निपटती है।
NOVA: GPT-5.6 तीन प्राइस-परफॉर्मेंस टायर्स में फैला है और Sol को दस लाख टोकन से ऊपर का कॉन्टेक्स्ट विंडो देता है। Grok पब्लिश्ड कोडिंग स्कोर को टॉकन-प्रति-सेकंड सर्विंग और दो-डॉलर इनपुट प्राइसिंग के साथ जोड़ता है। GPT-Live तुरंत बातचीत को डेलिगेटेड रीजनिंग से अलग करता है, जबकि Robostral Navigate पूछता है कि एक RGB स्ट्रीम के आसपास कितना फिजिकल नेविगेशन बनाया जा सकता है।
[ALLOY]: स्टैक में, हर रिलीज कुछ ठोस बदलती है जो एक एजेंट कर सकता है: टूल्स से ऑथेंटिकेट करना, लागत के हिसाब से काम रूट करना, फ्लूइड वॉइस एक्सचेंज बनाए रखना, यूजेबल आउटपुट बनाना, इम्प्लीमेंटेशन पैटर्न रिट्रीव करना, या फिजिकल कंस्ट्रेंट्स के तहत कार्य करना बिना इंप्टिमाइज़ेशन के रास्ते पर अवैध व्यवहार में जाने के।
NOVA: OpenAI ने Codex rust .144 और पॉइंट-वन अपडेट को ऑथेंटिकेशन, approvals, transport, रनटाइम व्यवहार और इंस्टॉलेशन में बदलावों के साथ भेजा। MCP टूल्स एक्सपेरिमेंटल opt-in के बिना इंटरैक्टिवली ऑथेंटिकेशन का अनुरोध कर सकते हैं। App-server hosts रनटाइम पर Codex ऑथेंटिकेशन दे सकते हैं, फिर पूरा हुआ लॉगिन एक होस्टेड पेज पर रीडायरेक्ट कर सकते हैं। शेयर्ड MCP OAuth क्रेडेंशियल्स को सीरियलाइज़ भी किया जा सकता है, जिससे मैनेज्ड इंटीग्रेशन को सेशन में ऑथराइजेशन स्टेट बनाए रखने का एक परिभाषित तरीका मिलता है, न कि हर कनेक्शन के लिए इसे फिर से बनाने का।
[ALLOY]: एक नया writes app-approval मोड परमीशन बाउंड्री को तेज करता है। रीड-ओनली के रूप में घोषित एक्शन्स आगे बढ़ सकते हैं, जबकि writes एक प्रॉम्प्ट ट्रिगर करते हैं। यह हर app एक्शन को समान रूप से संवेदनशील मानने से बेहतर काम करता है, खासकर जब एक एजेंट एक महत्वपूर्ण बदलाव करने से पहले अधिकांश सेशन खोज या गणना में बिताता है। होस्टेड Codex app सेशन अब एक्सपायर्ड ऑथेंटिकेशन रिफ्रेश करते हैं, जबकि संशोधित डिवाइस-कोड वार्निंग बताते हैं कि लॉगिन के दौरान फिशिंग प्रयासों को कैसे पहचानें और रोकें।
NOVA: नेटवर्क और रनटाइम फिक्सेस कई प्रोडक्शन कंस्ट्रेंट्स को कवर करते हैं। Responses WebSockets अपने लो-लेटेंसी transport को बनाए रखते हैं, साथ ही सिस्टम प्रॉक्सीज और कस्टम सर्टिफिकेट अथॉरिटीज का सम्मान करते हैं। Windows sandbox सेशन राइटेबल रूट्स के अंदर कंटेंट डिलीट कर सकते हैं और मैनेज्ड प्राइमरी रनटाइम तक पहुंच सकते हैं। OpenAI ने Intel Mac Code Mode क्रैश और टर्मिनल कंट्रोल सीक्वेंस को ठीक किया जो इंटरफेस या फिर से शुरू हुई कन्वर्सेशन हिस्ट्री को खराब कर सकते थे। जब एक पुराना ChatGPT थ्रेड रिटायर्ड मॉडल से कंपैक्शन स्टेट की ओर इशारा करता है, तो Codex वर्तमान में चुने गए मॉडल के साथ पुनः प्रयास करता है।
[ALLOY]: पॉइंट-वन अपडेट डिस्ट्रिब्यूशन पाथ को ठीक करता है। स्टैंडअलोन इंस्टॉलेशन अब रिलीज मेटाडेटा के एक सटीक क्रम पर निर्भर नहीं है। macOS पैकेज Code Mode होस्ट को Codex के बगल में एक्सपोज करते हैं, और अगर वह साथी बाइनरी उपलब्ध नहीं है तो Code Mode अपने एम्बेडेड रनटाइम पर वापस आ जाता है। व्यवहार में, .144 से प्रमाणित MCP सेशन, होस्टेड लॉगिन, राइट अप्रूवल, कॉर्पोरेट प्रॉक्सी रूटिंग, और Code Mode पैकेजिंग अधिक विश्वसनीय हो गए हैं। एक महत्वपूर्ण सीमा अभी भी दिखाई देती है: किसी इंटीग्रेशन का घोषित रीड-ओनली स्टेटस सीधे तौर पर यह नियंत्रित करता है कि यूजर को अप्रूवल प्रॉम्प्ट दिखेगा या नहीं।
NOVA: OpenAI ने GPT-5.6 को एक समान मॉडल के बजाय तीन API टियर के रूप में लॉन्च किया है। Sol सबसे जटिल रीजनिंग, कोडिंग, और एजेंटिक काम संभालता है। Terra कम कीमत पर संतुलित रोजमर्रा के विकास को टारगेट करता है। Luna चैट, क्लासिफिकेशन, दोहरावदार ट्रांसफॉर्मेशन, और हल्के एजेंट लूप के लिए स्पीड और किफायतीपन पर जोर देता है। बिना सफिक्स वाला GPT-5.6 अलियास Sol पर रूट करता है, इसलिए जो इंटीग्रेशन Terra या Luna चाहते हैं वे उन टियर को स्पष्ट रूप से चुनते हैं।
[ALLOY]: Sol के आधिकारिक स्पेसिफिकेशन में दस लाख पचास हजार टोकन का कॉन्टेक्स्ट विंडो और एक लाख अट्ठाईस हजार टोकन का अधिकतम आउटपुट है। ये सीमाएं बहुत बड़े वर्किंग कॉन्टेक्स्ट और लंबे जेनरेटेड रिजल्ट को सपोर्ट करती हैं, लेकिन वे कॉन्टेक्स्ट मैनेजमेंट को आर्थिक रूप से भी महत्वपूर्ण बना देती हैं। संपूर्ण एकत्रित सेशन को Sol में डालना तकनीकी रूप से वैध हो सकता है जबकि रूटीन स्टेज को दूसरे टियर के जरिए रूट करने से यह धीमा और महंगा है।
NOVA: प्राइसिंग एक स्पष्ट सीढ़ी बनाती है। प्रति मिलियन टोकन, Sol इनपुट के लिए पांच डॉलर और आउटपुट के लिए तीस डॉलर लेता है। Terra इनपुट के लिए दो डॉलर पचास और आउटपुट के लिए पंद्रह डॉलर लेता है। Luna इनपुट के लिए एक डॉलर और आउटपुट के लिए छह डॉलर लेता है। Responses API प्रोग्रामैटिक टूल कॉलिंग और बीटा मल्टी-एजेंट क्षमताएं भी प्रदान करता है, जो टीमों को फैमिली को टूल-ड्रिवन और डेलीगेटेड वर्कफ्लो में वायर करने की अनुमति देता है।
[ALLOY]: एक पाइपलाइन Sol को कठिन रिपॉजिटरी बदलावों, अस्पष्ट प्लानिंग, या बहुत लंबे कॉन्टेक्स्ट में सिंथेसिस के लिए रिजर्व कर सकती है; Terra का उपयोग साधारण कोडिंग और रीजनिंग के लिए कर सकती है; और हाई-वॉल्यूम क्लासिफिकेशन या लेटेंसी-सेंसिटिव इंटरैक्शन Luna को भेज सकती है। गुणवत्ता का हर स्टेज पर मापन अभी भी जरूरी है क्योंकि प्राइस लेबल टास्क इक्विवैलेंस स्थापित नहीं करते। OpenAI अब एक फैमिली के अंदर तीन सपोर्टेड ऑपरेटिंग पॉइंट प्रदान करता है, जो मॉडल रूटिंग को इनिशियल बिल्ड का हिस्सा बनाता है, डिप्लॉयमेंट के बाद जोड़ी जाने वाली लागत एक्सरसाइज के बजाय।
[ALLOY]: SpaceXAI ने Grok 4.5 को अपने Responses API के जरिए रिलीज किया और इसे कोडिंग-एजेंट वर्कलोड के लिए पोजिशन किया। कंपनी DeepSWE पर 62 प्रतिशत, Terminal-Bench पर 83.3 प्रतिशत, और SWE-Bench Pro पर 64.7 प्रतिशत रिपोर्ट करती है। ये आंकड़े टर्मिनल ऑपरेशन और रिपॉजिटरी-लेवल सॉफ्टवेयर इंजीनियरिंग को कवर करते हैं, लेकिन ये कंपनी-रिपोर्टेड रिजल्ट हैं न कि स्वतंत्र पुष्टि।
NOVA: सर्विंग डीटेल्स इस लॉन्च को लीडरबोर्ड अनाउंसमेंट से अधिक बनाते हैं। SpaceXAI कहता है कि Grok 4.5 अस्सी टोकन प्रति सेकंड जेनरेट करता है और प्रति मिलियन इनपुट टोकन के लिए दो डॉलर और प्रति मिलियन आउटपुट टोकन के लिए छह डॉलर चार्ज करता है। कोडिंग एजेंट अक्सर हर रिक्वेस्ट में पर्याप्त रिपॉजिटरी कॉन्टेक्स्ट, टूल रिजल्ट, और सेशन हिस्ट्री ले जाते हैं, इसलिए इनपुट प्राइसिंग रिपीटेड रन को प्रभावित करती है। लंबे पैच, एक्सप्लनेशन, और रिकवरी टर्न आउटपुट प्राइसिंग को भी उसी गणना में ले आते हैं।
[ALLOY]: Responses API एजेंट बिल्डर्स को टूल और स्टेट के साथ मॉडल कॉल के एवल्यूएशन के लिए एक रिस्पॉन्स-ओरिएंटेड सरफेस देता है। यह प्रोवाइडर्स में इडेंटिकल टूल सेमांटिक्स, स्ट्रीमिंग इवेंट्स, या एरर बिहेवियर की गारंटी नहीं देता, लेकिन यह कैपेबिलिटी, थ्रूपुट, और टोकन इकोनॉमिक्स को एक डिप्लॉयबल ऑफरिंग में रखता है। अस्सी टोकन प्रति सेकंड तब मायने रख सकता है जब कोई एजेंट लंबा जवाब देता है, हालांकि टूल लेटेंसी और बाहरी बिल्ड टाइम अभी भी पूरे रन को डोमिनेट कर सकते हैं।
NOVA: रिपॉजिटरी-लेवल परिणाम सीधे बेंचमार्क रैंकिंग से ज्यादा जानकारीपूर्ण होंगे। एक उपयोगी तुलना यह मापती है कि क्या Grok किसी स्वीकृत बदलाव को पूरा करता है, उसे कितने रीट्राय और जेनरेट किए गए टोकन खर्च होते हैं, पूरा रन कितनी जल्दी खत्म होता है, और सफल परिणाम की लागत कितनी है। OpenAI के SWE-Bench Pro ऑडिट में पब्लिक स्प्लिट में भारी शोर भी मिला। यह Grok के रिपोर्ट किए गए स्कोर को मिटाता नहीं, लेकिन इससे टास्क वैलिडिटी इंटरप्रिटेशन का हिस्सा बन जाती है। Grok 4.5 के पास अब कंक्रीट API एक्सेस और एग्रेसिव प्राइसिंग है; मेंटेन्ड कोडबेस दिखाएंगे कि इसके दावे कितने अच्छे ट्रांसफर होते हैं।
NOVA: OpenAI ने GPT-Live-1 और GPT-Live-1 मिनी पेश किए, जो एक वॉइस-मॉडल फैमिली है जो एक साथ सुनने और बोलने के लिए डिज़ाइन की गई है। GPT-Live पहले से ही ChatGPT Voice को पावर देती है, जबकि डेवलपर API एक्सेस जल्द आ रहा है। फुल डुप्लेक्स इंटरैक्शन मॉडल को बदल देता है: स्पीच इनपुट को आउटपुट शुरू होने से पहले पूरी तरह रुकने की जरूरत नहीं, और सिस्टम बातचीत के अभी चल रहे होने पर प्रतिक्रिया दे सकता है।
[ALLOY]: OpenAI कहता है कि GPT-Live प्रति सेकंड कई बार इंटरैक्शन निर्णय ले सकती है। यह एक वॉइस एजेंट को इंटरप्शन नोटिस करने, टाइमिंग एडजस्ट करने, या यह तय करने देता है कि आउटपुट को बदले हुए ऑडियो ब्लॉक्स तक न करके बोलना जारी रखे। एक फुल-डुप्लेक्स रनटाइम को एक साथ इनकमिंग ऑडियो, आउटगोइंग ऑडियो, कन्वर्सेशनल स्टेट, और इंटरप्शन बिहेवियर ट्रैक करनी होती है। स्पीच सिंथेसिस अकेले वह कोऑर्डिनेशन नहीं देती।
NOVA: गहरे काम को GPT-5.5 को सौंपा जा सकता है। GPT-Live तुरंत का आदान-प्रदान संभालती है, जबकि दूसरा मॉडल जो ज्यादा प्रोसेसिंग वाला काम लेता है उसकी जिम्मेदारी लेता है। वह बंटवारा एक तेज इंटरैक्शन लूप जैसा है जिसके पीछे धीमी रीजनिंग सर्विस है। यह एकरिप्शन और टर्न-टेकिंग को रेस्पॉन्सिव रख सकता है जबकि रिसर्च, प्लानिंग, या टूल यूज कहीं और प्रोसीड करता है। OpenAI ने GPT-Live को GPT-5.6 पर चलने के रूप में नहीं बताया है, तो वॉइस और GPT-5.6 फैमिली अलग-अलग हैं।
[ALLOY]: API डीटेल्स यह तय करेंगे कि डेवलपर्स ऑडियो स्ट्रीम्स, इंटरप्शन, डेलीगेशन इवेंट्स, और टूल रिजल्ट्स को एक स्टेबल सेशन में कैसे वायर करते हैं। कन्फर्म्ड कैपेबिलिटी है फ्रीक्वेंट इंटरैक्शन डिसीजन के साथ सिमल्टेनियस लिसनिंग और स्पीकिंग। यह कस्टमर असिस्टेंस, कोचिंग, एक्सेसिबिलिटी, और हैंड्स-बिजी वर्कफ्लोज को सपोर्ट करता है जहां डिलेड टर्न डिटेक्शन अननेचुरल लगता है। यह हार्ड कोऑर्डिनेशन सवाल भी बनाता है: जब यूजर दिशा बदलता है जबकि डेलीगेटेड वर्क चल रहा हो तो क्या होता है, स्पोकन आउटपुट कैसे साफ-साफ कैंसल होता है, और कौन सा मॉडल फाइनल कन्वर्सेशनल स्टेट का मालिक है।
NOVA: Mistral ने Robostral Navigate पेश किया, एक आठ-बिलियन-पैरामीटर नेविगेशन मॉडल जो एक RGB कैमरे के इर्द-गिर्द बना है। कंपनी R2R-CE पर 76.6 फीसदी रिपोर्ट करती है और स्पष्ट कहती है कि सेटअप में डेप्थ सेंसिंग, LiDAR, मल्टीपल कैमरा, या कंबाइंड सेंसर रिग की जरूरत नहीं है। वह नैरो इनपुट एसम्प्शन हार्डवेयर को बदल देता है जो मॉडल को इवैल्यूएट करना शुरू करने के लिए जरूरी है।
[ALLOY]: कैमरा-ओनली नेविगेशन से मॉडल को सामान्य कलर फ्रेम्स से उपयोगी स्पैशियल बिहेवियर प्राप्त करने की उम्मीद होती है। डेप्थ सेंसर सीधी रेंज इन्फॉर्मेशन देते हैं, जबकि LiDAR आसपास की ज्योमेट्री मापता है। एक सिंगल RGB व्यू में वे एक्सप्लिसिट सिग्नल्स नहीं होते और स्केल, ऑक्लूजन, रिफ्लेक्टिव सरफेस, पुअर लाइटिंग, और उन ऑब्जेक्ट्स के साथ संघर्ष कर सकता है जो अलग-अलग दूरियों पर समान दिखते हैं। Robostral का रिपोर्ट किया गया रिजल्ट उस कंस्ट्रेंट के तहत उपयोगी नेविगेशन सुझाता है, लेकिन यह स्थापित नहीं करता कि रिचर सेंसिंग अनnecessary है।
NOVA: पैरामीटर काउंट भी लार्ज रिमोट सर्विस से परे डिप्लॉयमेंट सवाल बुलाता है। Mistral ने अनाउंसमेंट में कई रनटाइम डीटेल्स सप्लाई नहीं की हैं: इंटरनल डिज़ाइन, एक्शन रिप्रेजेंटेशन, हार्डवेयर रिक्वायरमेंट्स, लेटेंसी, कंट्रोल फ्रीक्वेंसी, या वह इंटरफेस जो मॉडल आउटपुट को रोबोट मोशन में बदलता है। वे डीटेल्स तय करेंगे कि कोई टीम इसे ऑनबोर्ड कंट्रोलर, एज एक्सेलेरेटर, या रिमोट इंफरेंस लूप में वायर कर पाती है या नहीं।
[ALLOY]: एक प्रोटोटाइप जो पहले से ही एक कैमरा स्ट्रीम एक्सपोज करता है, अब एक कंक्रीट मॉडल के साथ है जिसका मूल्यांकन किया जा सकता है, इससे पहले कि एक महंगा सेंसर स्टैक जोड़ा जाए, खासकर इनडोर रूटिंग या रिसर्च प्लेटफॉर्म के लिए। Mistral का बेंचमार्क कंपनी-रिपोर्टेड ही रहता है, और R2R-CE हर फिजिकल एनवायरनमेंट को रिप्रेजेंट नहीं कर सकता। रियल-वर्ल्ड रिजल्ट्स को यह दिखाना होगा कि कैमरा-ओनली परसेप्शन लाइटिंग चेंजेस, डायनामिक ऑब्सटैकल्स, और अनफैमिलियर लेआउट्स में कहां सर्वाइव करता है, और कहां मिसिंग डेप्थ निर्णायक हो जाता है। Robostral एक स्पेसिफिक कैमरा-ओनली बेसलाइन प्रदान करता है, यह प्रूफ नहीं है कि एक कैमरा हर रोबोट के लिए फिट होता है।
[ALLOY]: OpenAI ने ChatGPT Work को एक एजेंट के रूप में पेश किया जो एक गोल ले सकता है, घंटों तक एंगेज्ड रह सकता है, कनेक्टेड एप्लीकेशन्स और वर्किंग मैटेरियल्स पर एक्ट कर सकता है, और स्प्रेडशीट्स, प्रेजेंटेशन्स, रिटन डेलिवरेबल्स, और वेब ऐप्स प्रोड्यूस कर सकता है। GPT-5.6 इस प्रोडक्ट को पावर करता है। असाइनमेंट एक रिस्पॉन्स में खत्म होने के बजाय कई स्टेप्स से गुजर सकता है।
NOVA: ChatGPT Work प्रोजेक्ट गोल को ऑर्गनाइजिंग यूनिट के रूप में ट्रीट करता है। यह relevant इनपुट्स एकत्र कर सकता है, असाइनमेंट को स्टेप्स में तोड़ सकता है, कनेक्टेड सरफेस पर ऑपरेट कर सकता है, और कई रिलेटेड आउटपुट्स प्रोड्यूस कर सकता है। एक मार्केट एनालिसिस से एक स्प्रेडशीट जिसमें अंडरलाइंग नंबर्स हों, फाइंडिंग्स बताने वाला एक प्रेजेंटेशन, और सिनेरियोज एक्सप्लोर करने के लिए एक छोटा वेब ऐप बन सकता है। वैल्यू उन आउटपुट्स के बीच अलाइनमेंट से आती है, न कि सिर्फ अलग-अलग हर एक को जनरेट करने से।
[ALLOY]: एक्सटेंडेड वर्क स्टेट मैनेजमेंट को विजिबल बनाता है। एक एजेंट जो घंटों तक ऑपरेट करता है, उसे ओरिजिनल ऑब्जेक्टिव को प्रिजर्व रखना होगा जब इंटरमीडिएट फाइंडिंग्स, टूल रिजल्ट्स, और रिवाइज्ड असम्पशन एक्यूमुलेट होते हैं। उसे यह जानना होगा कि कौन से डेलिवरेबल्स complete हैं, कौन से open बचे हैं, और क्या कोई बाद का एक्शन किसी पहले चुनाव से कंफ्लिक्ट करता है। OpenAI ड्यूरेशन और आउटपुट टाइप्स तय करता है लेकिन लॉन्ग-रनिंग बिहेवियर के लिए पूरा evaluation framework नहीं दिया है।
NOVA: प्रोडक्ट इंटरैक्शन को प्रॉम्प्ट डिज़ाइन से असाइनमेंट डिज़ाइन की तरफ शिफ्ट करता है। सोर्स एप्लीकेशन्स, इंटेंडेड आउटपुट्स, कंस्ट्रेंट्स, और कम्प्लीशन कंडीशन्स मायने रखती हैं क्योंकि एजेंट एक कन्वर्सेशनल टर्न से आगे एक्ट कर सकता है। रिजल्ट्स को एक कोऑर्डिनेटेड पैकेज के रूप में काम करना चाहिए: स्प्रेडशीट प्रेजेंटेशन में क्लेम्स को सपोर्ट करनी चाहिए, रिटन एक्सप्लनेशन वेब ऐप से मैच करनी चाहिए, और कलेक्शन ओरिजिनल गोल को सैटिस्फाई करनी चाहिए। ChatGPT Work जेनरल-पर्पस एजेंट्स को फिनिश्ड नॉलेज वर्क के करीब ले जाता है, कई आउटपुट्स में consistency एक polished रिजल्ट को अलग से प्राप्त करने की तुलना में एक स्ट्रॉन्गर मेजर बन जाती है।
NOVA: Microsoft Research ने Flint रिलीज किया, एक ओपन-सोर्स विज़ुअलाइज़ेशन लैंग्वेज जो AI एजेंट्स के लिए डिज़ाइन की गई है ताकि वे compact स्पेसिफिकेशन्स से expressive चार्ट्स बना सकें। early developer interest में Hacker News स्कोर तीन सौ चालीस से ऊपर शामिल था। Flint एक छोटे चार्ट प्रॉम्प्ट (जो generic आउटपुट प्रोड्यूस करता है) और एक बड़े लाइब्रेरी-स्पेसिफिक प्रोग्राम (जो इंस्पेक्ट या रिवाइज करने में मुश्किल होता है) के बीच बैठता है।
[ALLOY]: Flint अपने compact रिप्रेजेंटेशन को Vega-Lite, ECharts, या Chart.js में कंपाइल करता है। यह एजेंट जो एक्सप्रेस करता है उसे रेंडरिंग टारगेट से अलग करता है। एक एजेंट एक चार्ट को एक reviewable लैंग्वेज में describe कर सकता है, जबकि कंपाइलर selected विज़ुअलाइज़ेशन सिस्टम द्वारा required implementation emit करता है। वे टीमें जो पहले से इनमें से किसी एक लाइब्रेरी का उपयोग कर रही हैं, अपने रेंडरिंग स्टैक को प्रिजर्व रख सकती हैं बिना हर बार मॉडल से उसका पूरा native schema जनरेट करने के लिए कहे।
NOVA: प्रोजेक्ट में एक MCP चार्ट सर्वर भी शामिल है। कंपैटिबल एजेंट्स एक defined चार्टिंग टूल को call कर सकते हैं हर orchestration लेयर में Flint behavior embed करने के बजाय। एजेंट एक concise स्पेसिफिकेशन प्रोड्यूस करता है, सर्वर उसे कंपाइल करता है, और एक व्यक्ति चार्ट शिप होने से पहले सोर्स रिप्रेजेंटेशन को इंस्पेक्ट या एडिट कर सकता है। यह एक rendered image (जिसमें कोई useful revision surface नहीं है) को accept करने की तुलना में एक ज्यादा governable handoff बनाता है।
[ALLOY]: एक्सप्रेसिवनेस तय करेगी कि Flint डेमो से आगे काम करती है या नहीं। प्रोडक्शन डैशबोर्ड के लिए ट्रांसफॉर्मेशन, लेयर्ड मार्क्स, एनोटेशन, रेस्पॉन्सिव लेआउट, एक्सेसिबिलिटी चॉइस, इंटरैक्शन और टारगेट्स में सुसंगत व्यवहार की जरूरत होती है। एक कॉम्पैक्ट लैंग्वेज उन जरूरतों के जमा होने पर बढ़ सकती है, और रेंडरिंग के अंतर अब्स्ट्रैक्शन में लीक हो सकते हैं। फिर भी, Flint चार्ट एजेंट्स को एक कंक्रीट इंटीग्रेशन पाथ देती है जो ह्यूमन एडिटिंग को प्रिज़र्व करती है। एक छोटा चार्ट स्पेक एजेंट जेनरेशन, रिव्यू और प्रोडक्शन रेंडरिंग के बीच शेयर्ड सरफेस बन जाता है।
NOVA: Latent Memory Palace कंटिन्यूअस-कंट्रोल पॉलिसीज के लिए एडाप्टिव रीजनिंग प्रपोज करती है बिना उस रीजनिंग को लैंग्वेज के जरिए फोर्स किए। रिसर्चर्स का तर्क है कि लैंग्वेज रिप्रेजेंटेशन्स प्रिसिशन मूवमेंट और स्पैशियल डिसीज़ंस के लिए बहुत कोर्स हो सकते हैं। उनकी पॉलिसी एक ऑटोरिग्रेसिव लेटेंट स्पेस में रीजन करती है जो मेमोरी पैलेस की तरह ऑर्गनाइज़्ड है, एक्शन सेलेक्ट करने से पहले इंटरैक्टिवली इन्फॉर्मेशन रिट्रीव करती है।
[ALLOY]: लेटेंट डेलिबरेशन एक कंट्रोल डिसीज़न से दूसरे में अलग हो सकता है। सीधे एक्शन्स कम कंप्यूट का उपयोग कर सकते हैं, जबकि अनसर्टेन या स्पैशियली डिमांडिंग सिचुएशंस को लंबी रीजनिंग मिलती है। ऑथर्स उस प्रोसेस को वैरिएशनल इंफरेंस के रूप में फॉर्मुलेट करते हैं एक ऑटोरिग्रेसिव लेटेंट डिस्ट्रीब्यूशन के साथ, फिर वह रीइन्फोर्समेंट-लर्निंग मेथड डिराइव करते हैं जो संबंधित लोअर बाउंड को ऑप्टिमाइज़ करती है। रिजल्टिंग पॉलिसी को LMP-pi कहा जाता है।
NOVA: पेपर सिमुलेटेड और रियल-वर्ल्ड डोमेन्स में स्ट्रॉन्ग परफॉर्मेंस रिपोर्ट करता है और कहता है कि कंप्यूट एलोकेशन इंटरप्रेटेबल है, लेकिन उसका ऐब्स्ट्रैक्ट टास्क-लेवल स्कोर या न्यूमेरिकल मार्जिन नहीं देता। दूसरा कंट्रीब्यूशन, LMP-tok, वेरिएबल-लेंथ टोकन्स के साथ एक्शन्स को रिप्रेजेंट करता है। पॉलिसी तो इसलिए कई चीजें वेरी कर सकती है - वह कितनी देर डेलिबरेट करती है और डाउनस्ट्रीम ऑटोरिग्रेसिव मॉडल्स के लिए एक्शन सीक्वेंस कैसे रिप्रेजेंट होती है।
[ALLOY]: रोबोट्स और एम्बॉडीड एजेंट अक्सर हाई-लेवल प्लानिंग और लो-लेवल एक्टुएशन के बीच बैठते हैं। एक लैंग्वेज मॉडल तय कर सकता है कि ग्रिपर को किसी ऑब्जेक्ट को ध्यान से अप्रोच करना चाहिए, लेकिन कंटिन्यूअस कंट्रोल को बदलते ऑब्जर्वेशन्स में प्रिसाइज मूवमेंट की जरूरत होती है। लेटेंट रीजनिंग उस लेयर को सपोर्ट कर सकती है बिना हर इंटरमीडिएट कैलकुलेशन को वर्बलाइज किए। ओपन क्वेश्चंस में लेटेंसी, स्टेबिलिटी और यह शामिल है कि एक्स्ट्रा टेस्ट-टाइम कंप्यूट बेहतर कंट्रोल देता है या डेलेड एक्शन। पूरे इवैल्यूएशन को यह रिवील करना होगा कि कौन सी सिचुएशंस लंबे डेलिबरेशन ट्रिगर करती हैं और क्या गेंस सर्व-इक्वल-कंप्यूट कम्पैरिज़न में सर्वाइव करती हैं।
[ALLOY]: साइटेशन वेरिफिकेशन पर रिसर्च पाती है कि चीपर लैंग्वेज-मॉडल जजेस कम्पीटेटिवली स्कोर कर सकते हैं, लेकिन समान F1 रिजल्ट्स अलग-अलग रिवॉर्ड बिहेवियर छिपा सकते हैं। ऑथर्स ने तीन मॉडल फैमिलीज के आठ ऑफ-द-शेल्फ जजेस का इवैल्यूएशन 1,248 ह्यूमन-रिव्यूड रूब्रिक डिसीज़ंस पर किया। जज डिसएग्रीमेंट्स के बाद 378 और मुश्किल केसिस को एडजुडिकेशन मिला।
NOVA: हर एट्रिब्यूशन और साइटेशन पेयर को दो डाइमेंशन्स पर स्कोर किया गया: क्या सोर्स रिलेवेंट था और क्या उसने क्लेम को सपोर्ट किया। GPT-5-mini ने सोर्स रिलेवेंस के लिए स्ट्रॉन्गेस्ट पास-क्लास F1 हासिल की 0.908 पर, 0.636 के कप्पा के साथ। फैक्चुअल सपोर्ट पर, ओवरलैपिंग कॉन्फिडेंस इंटरवल्स ने टेस्टेड जजेस को स्टैटिस्टिकली इंडिस्टिंग्विशेबल बना दिया। यह उस अस्पष्टता को कमजोर करता है कि सबसे महंगा जज ही यूज़फुल साइटेशन फीडबैक दे सकता है।
[ALLOY]: एग्रीगेट एक्यूरेसी पास-रेट ड्रिफ्ट, फॉल्स पॉज़िटिव्स या फॉल्स नेगेटिव्स को रिवील नहीं करती। एक परमिसिव वेरिफायर अनसपोर्टेड क्लेम्स को रिवॉर्ड कर सकता है, जबकि एक ओवरली स्ट्रिक्ट वाला वैलिड सपोर्ट को रिजेक्ट कर सकता है। डायरेक्शनल एरर्स खासकर तब कंसीक्वेंशियल बनते हैं जब स्कोर रीइन्फोर्समेंट लर्निंग को फीड होते हैं। ट्रेनिंग लूप जज के व्यवहार को मैक्सिमाइज़ करना सीखता है, उसके कंसिस्टेंट बायस सहित।
NOVA: इसलिए, साइटेशन पाइपलाइन को रूब्रिक डायमेंशन और एरर डायरेक्शन के हिसाब से कैलिब्रेट करना ज़रूरी है, न कि सिर्फ एक हीडलाइन स्कोर के हिसाब से। एक लोअर-कॉस्ट जज तब डिप्लॉयमेंट के लिए उपयुक्त हो सकता है अगर उसका बायस प्रोफाइल इंटेंडेड यूज़ से मेल खाता है, जबकि थोड़ा मज़बूत F1 वाला जज हार्मफुल रिवॉर्ड सिग्नल बना सकता है। बेंचमार्क एडवरसैरियल लॉन्ग-फॉर्म एट्रिब्यूशन पर फोकस करता है, इसलिए ब्रॉडर जेनरलाइज़ेशन के लिए अभी भी एविडेंस की ज़रूरत है। परमानेंट रिज़ल्ट यह है कि दो जज जिनका समान एग्रीगेट क्वालिटी है, वे रिसर्च एजेंट्स को बहुत अलग तरह से ट्रेन या रैंक कर सकते हैं क्योंकि उनकी गलतियाँ अलग-अलग दिशाओं में होती हैं।
NOVA: OpenAI ने SWE-Bench Pro के पब्लिक स्प्लिट का ऑडिट किया और सिम्पल लीडरबोर्ड कम्पैरिज़न को चुनौती देने लायक काफी ब्रोकन टास्क मिले। इस स्प्लिट में 731 टास्क हैं। एजेंट-असिस्टेड ऑडिट ने 200 को ब्रोकन मार्क किया, जबकि अलग से ह्यूमन एनोटेशन ने 249 मार्क किया। OpenAI का अनुमान है कि बेंचमार्क का लगभग तीस प्रतिशत इनवैलिड या अनरीलिएबल हो सकता है।
[ALLOY]: ऑडिट चार तरह की ब्रेकेज के सोर्सेस की पहचान करता है। ओवरली स्ट्रिक्ट टेस्ट reasonable implementations को रिजेक्ट कर देते हैं। अन्डरस्पेसिफाइड प्रॉम्प्ट्स में टास्क सॉल्व करने के लिए ज़रूरी रिक्वायरमेंट्स मिसिंग हैं। लो टेस्ट कवरेज की वजह से इनकम्प्लीट बिहेवियर पास कर जाता है या इंटेंडेड बिहेवियर अनमेज़र्ड रह जाता है। मिसलीडिंग प्रॉम्प्ट्स मॉडल को उस इंटरप्रिटेशन की तरफ धकेलते हैं जो इवैल्यूएटर के एक्सपेक्टेशन से मेल नहीं खाता। हर कैटेगरी में बेंचमार्क क्वालिटी और मॉडल परफॉर्मेंस अलग-अलग तरह से मिक्स होती हैं।
NOVA: कोडिंग-एजेंट स्कोर मॉडल राउटिंग, प्रोक्योरमेंट और पब्लिक क्लेम्स को प्रभावित करते हैं। अगर कोई मॉडल अन्डरस्पेसिफाइड टास्क में फेल होता है, तो रिज़ल्ट एम्बिगुइटी को रिफ्लेक्ट कर सकता है, कोडिंग एबिलिटी को नहीं। अगर यह वीक कवरेज में पास हो जाता है, तो स्कोर करेक्टनेस को ओवरस्टेट कर सकता है। एग्रीगेट परफॉर्मेंस में जेनुइन कैपेबिलिटी, एक्सीडेंटल टेस्ट अलाइनमेंट और डिफेक्टिव टास्क से होने वाला शोर - ये सब शामिल हो सकते हैं। Grok 4.5 का रिपोर्टेड SWE-Bench Pro नंबर, बेंचमार्क पर हर स्कोर की तरह, इस कॉन्टेक्स्ट की ज़रूरत रखता है।
[ALLOY]: ऑडिट रिपॉजिटरी बेंचमार्क को बेकार नहीं बनाता। यह रिव्यूड टास्क सेट्स, ट्रांसपेरेंट वैलिडिटी क्राइटेरिया और टॉप-लाइन परसेंटेज के नीचे फेलियर एनालिसिस की वकालत करता है। वेंडर्स रॉ रिज़ल्ट्स और कन्फर्म्ड टास्क पर स्कोर्स को अलग कर सकते हैं और एक्सक्लूज़न्स का खुलासा कर सकते हैं। बेंचमार्क मेंटेनर्स डिस्प्यूटेड केसेस को रिपेयर कर सकते हैं या एक क्लीनर सबसेट पब्लिश कर सकते हैं। रिप्रेजेंटेटिव मेंटेन्ड कोड पर स्वीकृत बदलाव मॉडल सेलेक्शन के लिए एक सिंगल रैंक से ज़्यादा मज़बूत एविडेंस रहते हैं। SWE-Bench Pro एविडेंस में योगदान दे सकता है, लेकिन जब बेंचमार्क का बड़ा हिस्सा अनरीलिएबल हो सकता है, तो यह पूरा फैसला सुरक्षित रूप से नहीं ले सकता।
NOVA: UniClawBench चार सौ बाइलिंगुअल टास्क पर लाइव Docker एनवायरनमेंट्स में प्रोएक्टिव एजेंट्स का आकलन करता है। यह पाँच कैपेबिलिटीज़ को अलग करता है: स्किल यूसेज, एक्सप्लोरेशन, लॉन्ग-कॉन्टेक्स्ट रीज़निंग, मल्टीमॉडल अन्डरस्टैंडिंग और क्रॉस-प्लेटफॉर्म कोऑर्डिनेशन। यह स्ट्रक्चर यह बताने का लक्ष्य रखता है कि एजेंट क्यों फेल हुआ, न कि सिर्फ यह कि उसने आखिरी गोल हासिल किया या नहीं।
[ALLOY]: इवैल्यूएशन एक स्टैटिक आंसर से बिहेवियर कम्पेयर करने के बजाय फाइन-ग्रेन्ड कम्प्लीशन चेकपॉइंट्स का उपयोग करता है। तीन रोल्स एक क्लोज़्ड लूप बनाते हैं। एक एक्ज़ीक्यूटर काम करता है, एक हिडन सुपरवाइज़र बिहेवियर को ग्रेड करता है, और एक यूज़र एजेंट रियलिस्टिक मल्टी-टर्न फीडबैक देता है। सुपरवाइज़र हिडन रहता है ताकि ग्रेडिंग क्राइटेरिया इंटरैक्शन में लीक न हों और एक्ज़ीक्यूटर जिन क्यूज़ को एक्सप्लॉइट कर सके, वे न बन जाएँ।
NOVA: लाइव एक्ज़ीक्यूशन और बदलता फीडबैक UniClawBench को सिंगल-टर्न टूल टेस्ट्स से अलग करता है। एक प्रोएक्टिव एजेंट को एक अनफैमिलियर इंटरफेस का निरीक्षण करना पड़ सकता है, मिसिंग असम्पशन से रिकवर करना पड़ सकता है, पहले की रिक्वायरमेंट को रिटेन करना पड़ सकता है, विज़ुअल स्टेट को इंटरप्रेट करना पड़ सकता है, और कई प्लेटफॉर्म्स पर एक्शन्स को कोऑर्डिनेट करना पड़ सकता है। कैपेबिलिटी लेबल्स और इंटरमीडिएट चेकपॉइंट्स यह पहचानने में मदद करते हैं कि फेलियर एक्सप्लोरेशन से आया, कॉन्टेक्स्ट लॉस से, विज़ुअल अन्डरस्टैंडिंग से, या ऑर्केस्ट्रेशन से।
[ALLOY]: वह निदान तकनीकी स्टैक के विकल्पों को मार्गदर्शन कर सकता है। कमज़ोर अन्वेषण एक अलग नीति या इंटरफ़ेस विवरण की ओर इशारा कर सकता है, जबकि बार-बार होने वाली क्रॉस-प्लेटफ़ॉर्म विफलताएँ बेस-मॉडल की सीमा के बजाय टूल वायरिंग को उजागर कर सकती हैं। दिया गया सारांश बेंचमार्क प्रतिशत रिपोर्ट नहीं करता, इसलिए योगदान मूल्यांकन डिज़ाइन और टास्क सेट में है। हिडन-सुपरवाइज़र संगति और हार्नेस विफलताओं और मॉडल विफलताओं के बीच अलगाव की अभी भी जाँच की ज़रूरत है। UniClawBench प्रोएक्टिव एजेंटों को अधिक यथार्थवादी ऑपरेटिंग वातावरण देता है और आंशिक प्रगति को दृश्यमान बनाता है जब एंड-टू-एंड सफलता अकेले छिपा देगी कि किसी लंबे वर्कफ़्लो में कहाँ बिखराव हुआ।
[ALLOY]: WebSwarm शोध के लिए प्रगतिशील रिकर्सिव डेलिगेशन पेश करता है जिसमें व्यापक कवरेज और गहन फ़ॉलो-अप दोनों की ज़रूरत होती है। एक एकल ReAct-स्टाइल एजेंट आमतौर पर एक लंबे ट्रैजेक्टरी के भीतर काम करता है, इसलिए हर आशाजनक शाखा को आगे बढ़ाना संदर्भ खत्म कर सकता है या सिंथेसिस को बाहर कर सकता है। WebSwarm इसके बजाय शोध चलने के दौरान गतिशील रूप से खोज नोड्स की पदानुक्रमित संरचना बनाता है।
NOVA: प्रत्येक नोड एक स्थानीय उद्देश्य और एक खोज मोड प्राप्त करता है जो यह बताता है कि उसे कैसे खोजना चाहिए या सहयोग करना चाहिए। एक नोड अपना उद्देश्य सीधे हल कर सकता है या चाइल्ड नोड्स को सौंप सकता है। पूर्ण चाइल्ड अपने पैरेंट को साक्ष्य और निष्कर्ष लौटाते हैं, जो उन्हें समेकित कर सकता है, दिशा बदल सकता है, या एक और शाखा विस्तारित कर सकता है। शोध ट्री शुरुआत में तय नहीं होती; अपघटन बदलता है क्योंकि साक्ष्य उजागर करता है कि गहराई या चौड़ाई की ज़रूरत कहाँ है।
[ALLOY]: WebSwarm जांच करता है कि प्रासंगिक जानकारी वेब पर कितनी वितरित दिखती है इससे पहले कि वह आगे बढ़े। वह अवलोकन बताता है कि कौन से नोड्स बनाए जाते हैं। प्रोसेस-स्तरीय अनुभव समान सिबलिंग नोड्स के बीच पुन: उपयोग किया जा सकता है, जिससे एक शाखा के खोज व्यवहार से दूसरी में सुधार हो सकता है। लेखक चार शोध बेंचमार्क पर सिंगल-एजेंट और मल्टी-एजेंट बेसलाइन की तुलना में मज़बूत परिणाम रिपोर्ट करते हैं, हालांकि सारांश कोई संख्यात्मक मार्जिन प्रदान नहीं करता।
NOVA: रिकर्सिव डेलिगेशन कवरेज में सुधार कर सकता है, लेकिन यह रिक्वेस्ट को गुणा कर सकता है, साक्ष्य की नकल कर सकता है, और महंगे सिंथेसिस पाथ बना सकता है। प्रोवेनेंस पदानुक्रम में जीवित रहना चाहिए ताकि एक पैरेंट एक स्वतंत्र स्रोत को कई चाइल्ड से अलग कर सके जो एक ही अंतर्निहित दावा लौटा रहे हैं। WebSwarm साक्ष्य-प्रतिक्रियाशील ऑर्केस्ट्रेशन में योगदान देता है: शाखाएँ इसलिए बढ़ती हैं क्योंकि उभरती जानकारी उन्हें माँगती है, न कि केवल क्योंकि एक प्रारंभिक प्लानर ने अपघटन का अनुमान लगाया था। यह मार्केट रिसर्च, तकनीकी सर्वे और जांचों के लिए उपयुक्त है जहाँ एक उत्तर कई स्रोतों और फ़ॉलो-अप की कई परतों पर निर्भर करता है।
NOVA: ProjAgent रिपोजिटरी-स्तर के कोड रिट्रीवल में प्रोसीजरल समानता जोड़ता है। पारंपरिक सिस्टम अक्सर आइडेंटिफ़ायर, टेक्स्ट, सिंटैक्स या सेमांटिक टॉपिक द्वारा खोज करते हैं। वे सिग्नल एक ऐसे इम्प्लीमेंटेशन को मिस कर सकते हैं जो अलग नामों के तहत या किसी अन्य डोमेन में आवश्यक अनुक्रम पूरा करता है। ProjAgent पूछता है कि कौन से मौजूदा फ़ंक्शन समान प्रक्रिया के माध्यम से काम पूरा करते हैं।
[ALLOY]: यह टारगेट फ़ंक्शन को इंटरमीडिएट रीज़निंग स्टेप्स में विघटित करता है, फिर उन रिपोजिटरी फ़ंक्शन्स को रिट्रीव करता है जिनका व्यवहार प्रत्येक स्टेप जैसा दिखता है। वह प्रोसीजरल कॉन्टेक्स्ट पारंपरिक सेमांटिक रिट्रीवल के साथ संयुक्त किया जाता है, उसे बदलने के बजाय। टारगेट जिसमें वैलिडेशन, ट्रांसफ़ॉर्मेशन, रिट्री और पर्सिस्टेंस शामिल है, उपयोगी उदाहरण पा सकता है भले ही कोई मौजूदा फ़ंक्शन उसकी वोकैबुलरी या सटीक डेटा टाइप्स साझा न करे।
NOVA: जनरेशन के बाद, एक रूढ़िवादी स्टैटिक-एनालिसिस लूप कंपाइलर और एनालिसिस फ़ीडबैक का उपयोग करके परिणाम को पुनरावृत्त रूप से रिपेयर करता है। रिट्रीवल जनरेशन से पहले समृद्ध कॉन्टेक्स्ट बनाता है, जबकि स्टैटिक फ़ीडबैक बाद में पता लगाने योग्य समस्याओं को संभालता है। REPOCOD पर, ProjAgent एक पर 41.14 प्रतिशत पास हासिल करता है और लेखकों द्वारा परीक्षित रिट्रीवल-आधारित बेसलाइन से बेहतर प्रदर्शन करता है। प्रोसीजरल रिट्रीवल के लाभों और रिपेयर के लाभों को अलग करने के लिए और एब्लेशन की ज़रूरत है।
[ALLOY]: प्रक्रिया-जागरूक अनुक्रमण मैट्योर रिपॉजिटरी में कोडिंग एजेंट्स को बेहतर बना सकता है जहाँ असंबंधित मॉड्यूल में परंपराएं दिखाई देती हैं। एक बिलिंग रूटीन और एक डिप्लॉयमेंट रूटीन एक ही रिट्राय और रोलबैक क्रम साझा कर सकते हैं बिना टॉपिक-लेवल सिमेंटिक्स साझा किए। यह समझना कि काम कैसे होता है, उस आधार पर पुनर्प्राप्ति करने से वह पुन: प्रयोज्य पैटर्न सामने आ सकता है। इंडेक्स बनाना स्रोत टेक्स्ट एम्बेड करने से कठिन है क्योंकि प्रक्रियात्मक व्यवहार के लिए एक विश्वसनीय प्रतिनिधित्व की आवश्यकता होती है, और स्टैटिक समानता रनटाइम प्रभावों को छोड़ सकती है। फिर भी, ProjAgent पुनर्प्राप्ति को जो दिखता है उससे आगे बढ़ाकर जो व्यवहार करता है उसी की ओर ले जाता है, जिससे जनरेटर को कोड लिखने से पहले मजबूत स्थानीय उदाहरण मिलते हैं।
NOVA: SolarChain-Eval विकेंद्रीकृत ऊर्जा बाजार के भीतर स्वायत्त आर्थिक एजेंट्स का परीक्षण करता है जहाँ कार्यों को भौतिक बाधाओं को संतुष्ट करना होता है। यह Gymnasium-संगत मार्कोव डिसीजन प्रोसेस का उपयोग करता है जिसमें प्रति घंटा गवर्नेंस निर्णय होते हैं। प्रदर्शन बाजार उपयोगिता, भौतिक सुरक्षा, स्लिपेज, कार्रवाई की चिकनाई, स्थानिक न्याय और ऑडिटेबिलिटी तक फैला हुआ है, एक इनाम के बजाय।
[ALLOY]: बेंचमार्क LLM-आधारित Planner और Auditor जोड़ता है। Planner एपिसोड-लेवल एक्शन बाउंड्स और ऑडिट नियम परिभाषित करता है। Auditor उन कार्यों का निरीक्षण करता है जिन्हें उच्च जोखिम के रूप में वर्गीकृत किया गया है और उन्हें संशोधित कर सकता है। Structured traces ट्रिगर सिग्नल, प्रस्तावित कार्य, संशोधित कार्य और तर्कों को कैप्चर करते हैं, जिससे शोधकर्ताओं को यह जांचने की अनुमति मिलती है कि हस्तक्षेप ने नीति व्यवहार को कैसे बदला, केवल अंतिम इनाम देखने के बजाय।
NOVA: प्रयोग स्टैटिक, रैंडम, मायोपिक, रिइन्फोर्समेंट-लर्निंग, और रिइन्फोर्समेंट-लर्निंग-प्लस-LLM नीतियों की तुलना करते हैं। रिइन्फोर्समेंट लर्निंग बाजार उपयोगिता में सुधार करती है लेकिन अभी भी असुरक्षित रूप से कार्य कर सकती है। जब भौतिकी दंड हटा दिया जाता है, तो इनाम-अधिकतम करने वाले एजेंट अमान्य जनरेशन का फायदा उठाते हैं और कृत्रिम लिक्विडिटी बनाते हैं। Planner और Auditor ऑडिटेबिलिटी में सुधार करते हैं और चयनित जोखिमों को कम करते हैं, जो दिखाता है कि आर्थिक उद्देश्य भौतिक वैधता का विकल्प क्यों नहीं हो सकता।
[ALLOY]: ऊर्जा बाजार इस चिंता को ठोस बनाते हैं, लेकिन यह रोबोट, लॉजिस्टिक्स, इंडस्ट्रियल कंट्रोल और अन्य साइबर-फिजिकल एजेंट्स तक फैलता है। एक नीति अपने दृश्य मीट्रिक को अनुकूलित कर सकती है जबकि उन धारणाओं का उल्लंघन करती है जिन्हें वातावरण सहन नहीं कर सकता। SolarChain-Eval बाधाओं, बहुआयामी स्कोरिंग और inspectable हस्तक्षेप को मूल्यांकन में जोड़ता है। Planner और Auditor सार्वभौमिक सुरक्षा साबित नहीं करते, लेकिन वे एक परिनियोजन योग्य पैटर्न प्रदान करते हैं: निष्पादन से पहले कार्यों को बांधें, उच्च-जोखिम विकल्पों की समीक्षा करें, और संशोधनों का एक संरचित खाता रखें। ऑडिटेबिलिटी मापे गए प्रदर्शन का हिस्सा बन जाती है असुरक्षित व्यवहार के बाद जोड़ी गई व्याख्या के बजाय।
NOVA: Sentry का XcodeBuildMCP कोडिंग एजेंट्स को iOS और macOS विकास के लिए उद्देश्य-निर्मित बिल्ड, टेस्ट, सिम्युलेटर और प्रोजेक्ट टूल देता है। रिपॉजिटरी में छह हजार से अधिक स्टार्स हैं और यह जुलाई में सक्रिय रहा। इसकी प्रमुख तंत्र एक MCP सतह है जो Xcode ऑपरेशंस को संरचित टूल कॉल में बदलती है, अनस्ट्रक्चर्ड शेल आउटपुट से अवस्था का अनुमान लगाने के बजाय।
[ALLOY]: Codex और अन्य MCP क्लाइंट इसे एक अलग-थलग iOS प्रोजेक्ट में वायर कर सकते हैं ताकि बिल्ड्स को शुरू करें, विफलताओं का निरीक्षण करें, सिम्युलेटर संचालित करें और स्पष्ट परिणामों के साथ कोडिंग लूप जारी रखें। Structured पैरामीटर और रिस्पॉन्सेस भंगुर कमांड निर्माण को कम करते हैं और अनुमतियों को परिभाषित करना आसान बनाते हैं। XcodeBuildMCP प्रदर्शित करता है कि एक डोमेन-विशिष्ट MCP सर्वर कोडिंग एजेंट्स को एक सामान्य शेल की तुलना में बेहतर इंटरफेस कैसे दे सकता है, Apple के नेटिव टूलचेन को बदले बिना।
[ALLOY]: Open Agent प्रोजेक्ट retrieval-augmented generation, agent loops, browser use, computer use, और coding capabilities को एक open personal-assistant implementation में जोड़ता है। इसका 2.83 point-one release जुलाई में आया था, और repository में पांच हजार तीन सौ से अधिक stars हैं। useful surface कई high-permission tools के बीच coordination है न कि एक isolated capability।
NOVA: एक isolated profile retrieval को planning में कैसे feed करती है, browser state computer control में कैसे cross करती है, और प्रत्येक action के आसपास कौन से permissions हैं, यह inspect करने का एक concrete तरीका प्रदान करती है। Personal agents अक्सर capability boundaries पर fail करते हैं: retrieved context stale हो जाती है, browser intent desktop state से diverge कर जाती है, या एक coding action expected से broader access inherit कर लेती है। OpenAgent उन handoffs को study, modify, और custom stack से compare करने के लिए पर्याप्त visible बनाती है।
NOVA: Exa का MCP server compatible agents को एक defined tool boundary के जरिए web search और crawling expose करता है। repository में लगभग सैंतालीस सौ stars हैं और यह जुलाई में active रहा। हर research workflow में एक provider-specific search client embed करने के बजाय, एक agent standardized search और crawl operations call कर सकता है और structured results प्राप्त कर सकता है।
[ALLOY]: integration angle provenance पर केंद्रित है। एक research agent discovery के लिए Exa search use कर सकता है, selected results को crawling में pass कर सकता है, और extracted material के साथ source identity preserve कर सकता है ताकि बाद में citation judging के पास inspect करने के लिए evidence हो। server यह establish नहीं करता कि हर result authoritative है या किसी claim का support करती है; यह एक cleaner collection boundary supply करता है। WebSwarm जैसे recursive systems के साथ combine करने पर, यह many delegated branches serve कर सकता है जबकि provider access centralized और provenance payload से attached रहता है।
NOVA: GPT-5.6 Sol, Terra, और Luna selected model family हैं, जो text और image input, text output, Responses API tool use, और Sol के official specification पर एक मिलियन पचास हजार token context support करते हैं। Sol सबसे कठिन agentic work को target करता है, Terra capability और price को balance करता है, और Luna fast, lower-cost volume handle करता है।
[ALLOY]: immediate integration angle stage-level routing है। difficult planning और coding Sol पर run कर सकते हैं, balanced transformation Terra पर, और latency-sensitive classification Luna पर। प्रत्येक boundary पर quality, speed, context consumption, और cost measure करने से पता चलेगा कि एक fixed tier या एक routed pipeline better deployment produce करती है।
NOVA: Ollama .31 point two flash attention को compute capability six-series GPUs के लिए enable करके older NVIDIA hardware पर local inference expand करता है। integrated GPUs available memory के अनुसार padded vision models को offload भी कर सकते हैं, जिससे large discrete accelerator के बिना machines पर local image inference के लिए एक more flexible path बनती है।
[ALLOY]: इस रिलीज में structured output को ठीक किया गया है thinking models के लिए जब thinking disabled है, GGUF model creation को मजबूत किया गया है, non-UTF-8 टेक्स्ट वाले model locations की handling में सुधार किया गया है, और terminal-based AI coding agent Claude Code को launch करते समय telemetry को डिफ़ॉल्ट रूप से disabled किया गया है। व्यावहारिक पहलू local vision है: एक supported vision model को integrated GPU पर run करें और observe करें कि memory-aware padded offloading image inference को उपलब्ध memory के भीतर रखता है या नहीं।
NOVA: आइडियाज हैव जीनोम्स आइडियाजीन-बेंच का परिचय देता है, जो मापता है कि क्या मॉडल वैज्ञानिक वंशावली के बारे में तर्क कर सकते हैं, न कि केवल संबंधित शोध को पुनः प्राप्त कर सकते हैं। यह योगदान को टाइप किए गए, साक्ष्य-आधारित आइडिया जीनोम ऑब्जेक्ट के रूप में दर्शाता है, फिर वंशावली, उत्परिवर्तन, हानि, बाहरी आयात, और वास्तव में नए सम्मिलन को समझने के लिए जीनोमडिफ का उपयोग करता है। बेंचमार्क में दस वैज्ञानिक डोमेन में 1,961 वंशावली ट्रेस, 1,085 जीनोम ऑब्जेक्ट और 920 जोड़ी अंतर शामिल हैं।
[ALLOY]: IG-एग्जाम बयालीस वंशावली-तर्क कार्य प्रकारों को कवर करता है, जबकि IG-अरीना मूल्यांकन करता है कि क्या एक उत्पन्न प्रस्ताव किसी मौजूदा शोध पंक्ति का एक सुसंगत वंशज बनता है। एक शोध एजेंट किसी विचार की वंशावली को पुनः प्राप्त कर सकता है, यह दर्शा सकता है कि क्या बदला है, और आकलन कर सकता है कि क्या एक नया प्रस्ताव साक्ष्य को संरक्षित रखता है जबकि एक बचाव योग्य योगदान पेश करता है। यह वंशावली के आधार के बिना सतही नवीनता को पुरस्कृत करने की तुलना में एक अधिक मजबूत परीक्षण प्रदान करता है।
[ALLOY]: रिमेंबर व्हेन इट मैटर्स व्यवहारिक स्थिति क्षय को संबोधित करता है, जहां लंबी प्रक्षेप-पथ आवश्यकताओं, पर्यावरण तथ्यों, पहले के प्रयासों, निदानों और अनसुलझे उप-लक्ष्यों को तब
NOVA: पेपर रिपोर्ट करता है कि Terminal-Bench पर pass-at-one में 8.3 प्रतिशत अंकों का लाभ हुआ और tau-squared-Bench पर 6.8 अंकों का। रिपोर्ट किए गए एब्लेशन में, चुनिंदा हस्तक्षेप निष्क्रिय बैंक एक्सपोजर, हमेशा-चालू इंजेक्शन, सलाहकार-केवल मार्गदर्शन और सामान्य पुनर्प्राप्ति से बेहतर प्रदर्शन करता है। इसलिए, समय मेमोरी नीति का हिस्सा बन जाता है। उपयोगी मेमोरी केवल प्रासंगिक स्थिति को पुनः प्राप्त नहीं करती; यह तब उस स्थिति को सामने लाती है जब छोड़ना संभवतः व्यवहार बदल देगा, बिना हर बारी को रिमाइंडर से भरने के।
NOVA: OpenCoF चेन‑ऑफ‑फ्रेम रीज़निंग का अध्ययन करता है, जहाँ मध्यवर्ती रीज़निंग कालानुक्रमिक रूप से जुड़े वीडियो फ्रेमों के ज़रिए प्रकट होती है, न कि केवल टेक्स्ट के ज़रिए। इस फ्रेमवर्क में OpenCoF-17K शामिल है, जो ग्यारह कार्य परिवारों में फैला एक रीज़निंग‑वीडियो संग्रह है, और Wan‑CoF, जो चार वीडियो‑रीज़निंग बेंचमार्क पर मूल्यांकित एक फाइन‑ट्यून्ड वीडियो मॉडल है।
[ALLOY]: दृश्य और पाठ्य तर्क टोकन मॉडल की गहराई, डीनोइज़िंग चरणों, स्थान और समय में निम्न-स्तरीय संकेतों और उच्च-स्तरीय सिमेंटिक पूर्वज्ञानों को कैप्चर करते हैं। लेखकों ने
NOVA: Codex .144 एथेंटिकेटेड MCP सेशन, होस्टेड लॉगिन रीडायरेक्ट, राइट अप्रूवल, प्रॉक्सी-अवेयर WebSockets, और Code Mode फॉलबैक को मजबूत करता है।
[ALLOY]: GPT-5.6 एक तीन-स्तरीय रूटिंग लैडर प्रदान करता है, जबकि Grok 4.5 API एक्सेस, कोडिंग क्लेम, थ्रूपुट, और आक्रामक टोकन प्राइसिंग को जोड़ता है।
NOVA: GPT-Live одновременное सुनना और बोलना लाता है; Robostral Navigate कैमरा-ओनली रोबोटिक्स को टेस्ट करता है; ChatGPT Work और Flint एजेंट्स को फिनिश्ड, एडिटेबल आउटपुट की ओर धकेलते हैं।
[ALLOY]: साइटेशन कैलिब्रेशन, कोडिंग-बेंचमार्क ऑडिट, प्रोएक्टिव-एजेंट मूल्यांकन, रिकर्सिव रिसर्च, प्रोसीजर-अवेयर रिट्रीवल, एडाप्टिव कंट्रोल मेमोरी, और एनर्जी-मार्केट कंस्ट्रेंट्स सभी तेज़ सबूत जोड़ते हैं कि क्या सुरक्षित रूप से शिप किया जा सकता है।
NOVA: स्रोत विवरण और आगे पढ़ने के लिए, Toby On Fitness Tech dot com पर शो नोट्स देखें।
[ALLOY]: AgentStack Daily सुनने के लिए धन्यवाद। हम जल्द वापस आएंगे।