Codex 0.144, GPT-5.6 Sol, Grok 4.5, GPT-Live, और Robostral Navigate

एपिसोड 084 — 10 जुलाई, 2026

[00:00] एपिसोड हुक

OpenAI ने GPT-5.6 को एक तीन-स्तरीय API परिवार के रूप में लॉन्च किया: जटिल एजेंटिक कार्यों के लिए Sol, संतुलित विकास के लिए Terra, और तेज़, कम लागत वाले कार्यभार के लिए Luna। बिना प्रत्यय वाला मॉडल एलियास Sol पर रूट करता है, जिसके आधिकारिक API पेज में 1,050,000-टोकन संदर्भ विंडो और 128,000-टोकन अधिकतम आउटपुट निर्दिष्ट है; मूल्य निर्धारण Luna के लिए प्रति मिलियन इनपुट टोकन $1 से Sol के लिए प्रति मिलियन आउटपुट टोकन $30 तक है। OpenAI ने GPT-Live-1 और GPT-Live-1 मिनी भी पेश किए, जो पूर्ण-डुप्लेक्स वॉइस मॉडल हैं जो एक साथ सुन और बोल सकते हैं, जिनमें जल्द ही API एक्सेस उपलब्ध होगा। SpaceXAI ने अपने Responses API के माध्यम से Grok 4.5 को 80 टोकन प्रति सेकंड की गति पर और $2/$6 इनपुट/आउटपुट मूल्य निर्धारण के साथ रिलीज किया, साथ ही कंपनी के दावों वाले बेंचमार्क परिणाम भी दिए जिनमें Terminal-Bench 2.1 पर 83.3 प्रतिशत शामिल है। Mistral का नया 8B Robostral Navigate एक RGB कैमरा का उपयोग करता है—बिना गहराई, LiDAR, या कई कैमरों के—और R2R-CE पर कंपनी-रिपोर्टेड 76.6 प्रतिशत पोस्ट करता है।

[02:00] एजेंट स्टैक रिलीज रीडआउट: OpenAI Codex rust-v0.144.1, rust-v0.144.0

OpenAI ने दो Codex रिलीज़ भेजीं: rust-v0.144.0 प्रमाणीकरण, अनुमोदन, ट्रांसपोर्ट संगतता और रनटाइम व्यवहार का विस्तार करता है, जबकि rust-v0.144.1 टारगेटेड इंस्टॉलर और कोड मोड विश्वसनीयता फिक्स के साथ आगे बढ़ता है। सबसे महत्वपूर्ण वर्कफ़्लो परिवर्तन यह है कि MCP टूल्स को प्रायोगिक ऑप्ट-इन की आवश्यकता के बिना इंटरैक्टिवली प्रमाणीकरण का अनुरोध कर सकते हैं। ऐप-सर्वर होस्ट रनटाइम पर भी Codex प्रमाणीकरण प्रदान कर सकते हैं और सफल लॉगिन को होस्ट किए गए पेज पर रीडायरेक्ट कर सकते हैं। उस फ़्लो के नीचे, चेंजलॉग में सीरियलाइज़्ड शेयर्ड MCP OAuth क्रेडेंशियल स्टोर शामिल हैं, जो इंटीग्रेशन को शेयर्ड OAuth स्टेट बनाए रखने के लिए एक परिभाषित तंत्र देते हैं।

दूसरा ठोस तंत्र नया writes ऐप-अप्रूवल मोड है। इस मोड में, घोषित रीड-ओनली एक्शन की अनुमति है, लेकिन राइट्स प्रॉम्प्ट ट्रिगर करते हैं। यह बिल्डर्स को हर ऐप एक्शन को समान मानने की तुलना में अधिक विशिष्ट अनुमोदन सीमा देता है। रिलीज़ लंबे समय से चल रहे प्रमाणित कार्य को भी बेहतर बनाती है: ऐप सेशन अब होस्टेड codex_apps कनेक्टर के लिए समाप्त प्रमाणीकरण को रिफ्रेश करते हैं। डिवाइस-कोड लॉगिन चेतावनियों को अपडेट किया गया था ताकि यह समझाया जा सके कि उपयोगकर्ता फ़िशिंग प्रयासों को कैसे पहचान सकते हैं और रोक सकते हैं।

ट्रांसपोर्ट और रनटाइम व्यवहार को भी व्यावहारिक फिक्स मिले। Responses WebSockets सिस्टम प्रॉक्सी और कस्टम सर्टिफिकेट अथॉरिटी का सम्मान करते हुए लो-लेटेंसी ट्रांसपोर्ट का उपयोग करना जारी रखते हैं। Windows पर, सैंडबॉक्स सेशन राइटेबल रूट्स में फ़ाइलें हटा सकते हैं और मैनेज्ड प्राइमरी रनटाइम तक पहुंच सकते हैं। OpenAI ने Intel macOS कोड मोड क्रैश, टर्मिनल कंट्रोल सीक्वेंस जो TUI रेंडरिंग या रीज्यूम्ड कन्वर्सेशन हिस्ट्री को करप्ट कर सकते थे, और उन ChatGPT थ्रेड्स को भी फिक्स किया जिनका कम्पैक्शन डेटा एक रिटायर्ड मॉडल का संदर्भ देता है। वे थ्रेड्स अब वर्तमान में चयनित मॉडल के साथ रिट्राई करते हैं।

rust-v0.144.1 फॉलो-अप डिस्ट्रीब्यूशन फेलियर पर केंद्रित है। स्टैंडअलोन इंस्टॉल अब तब फेल नहीं होते जब GitHub कॉम्पैक्ट या रीऑर्डर किया गया रिलीज मेटाडेटा रिटर्न करता है। macOS पैकेज इंस्टॉल अब Codex एक्ज़ीक्यूटेबल के साथ-साथ कोड-मोड होस्ट को भी एक्सपोज़ करते हैं। यदि वह साथी होस्ट बाइनरी उपलब्ध नहीं है, तो कोड मोड अप्रयोज्य होने के बजाय एम्बेडेड रनटाइम पर फॉलबैक करता है। सामूहिक रूप से, ये परिवर्तन उन टीमों के लिए महत्वपूर्ण हैं जो मैनेज्ड एनवायरनमेंट में Codex को एम्बेड कर रही हैं जहां प्रमाणीकरण, प्रॉक्सी, सर्टिफिकेट, पैकेजिंग और अप्रूवल पॉलिसी यह निर्धारित कर सकती हैं कि कोई एजेंट वर्कफ़्लो चलता है या नहीं।

बिल्डर्स को विशेष रूप से ध्यान देना चाहिए कि writes मोड घोषित रीड-ओनली एक्शन को कैसे वर्गीकृत करता है और रियल ऐप इंटीग्रेशन में प्रॉम्प्ट कहाँ दिखाई देते हैं। अगली बात यह देखना है कि क्या इंस्टॉलर मेटाडेटा हैंडलिंग और एम्बेडेड-रनटाइम फॉलबैक rust-v0.144.1 द्वारा विशेष रूप से संबोधित पैकेज कॉन्फ़िगरेशन में कोड मोड फेलियर को खत्म करते हैं।

[03:28] OpenAI GPT-5.6 को Sol, Terra और Luna में विभाजित करता है

OpenAI ने GPT-5.6 को एक single undifferentiated endpoint के बजाय एक three-model family के रूप में launch किया है। Sol complex reasoning, coding, और agentic workflows के लिए flagship tier है, जिसकी particular strength command-line और multi-step coding tasks के आसपास positioning है। Terra इसके नीचे balanced, lower-cost option के रूप में है जो everyday coding, reasoning, और agentic work के लिए है। Luna सबसे fast और most affordable tier है, जो high-volume या latency-sensitive jobs के लिए aimed है जिसमें chat, classification, और lightweight agentic workflows शामिल हैं। तीनों OpenAI API के through available हैं, और unsuffixed gpt-5.6 alias Sol पर route करता है।

दो implementation details इसे builders के लिए relevant बनाती हैं। पहली, official Sol API page एक 1,050,000-token context window और 128,000-token maximum output list करती है। यह long working contexts और long generated results के लिए substantial room बनाता है बिना यह claim किए कि हर task को उन limits का consumption चाहिए। दूसरी, family clear token-price steps establish करती है। Per million input और output tokens, Sol पांच और तीस dollars costs करता है, Terra दो dollars fifty और fifteen dollars costs करता है, और Luna एक और six dollars costs करता है। वे gaps model routing को एक architectural choice बनाती हैं later cost-optimization exercise के बजाय।

Responses API भी Programmatic Tool Calling और beta multi-agent capabilities provide करती है। तीन tiers के साथ मिलकर, यह teams को expensive, complex coding work को routine reasoning और fast, repetitive agent operations से separate करने के लिए एक supported basis देती है। एक workflow Sol को hardest multi-step jobs के लिए reserve कर सकती है जबकि Terra या Luna का evaluation वहां करेगी जहां उनकी stated positioning task से match करती है।

Practical implication यह है कि GPT-5.6 adoption को workflow stage per measure किया जाना चाहिए, एक family-wide judgment के through नहीं। आगे देखने वाली बात यह है कि builders real agent pipelines को Sol, Terra, और Luna के बीच कैसे divide करते हैं एक बार quality, latency, context usage, और token spend एक साथ measure हो जाएं।

[05:15] SpaceXAI Ships Grok 4.5 Through Its Responses API

SpaceXAI ने अपने Responses API के through Grok 4.5 release किया है, model को specifically coding-agent workloads के लिए positioning करते हुए। Announcement तीन variables को एक offering में रखता है जो builders routinely balance करते हैं: benchmark results, generation speed, और token cost। यह इसे एक single leaderboard number के बारे में कम और उसके बारे में अधिक है कि क्या एक model repeated agent runs की performance और economics में fit हो सकता है।

Capability पर, SpaceXAI claim करता है कि Grok 4.5 DeepSWE 1.0 पर 62.0 percent, Terminal-Bench 2.1 पर 83.3 percent, और SWE-Bench Pro पर 64.7 percent score करता है। वे company-reported results हैं, इसलिए उनसे evaluation के starting points के रूप में व्यवहार करना सबसे अच्छा है team की own repositories, tasks, और acceptance criteria पर testing के substitutes के रूप में नहीं। फिर भी, named benchmarks builders को concrete reference points देते हैं जो software-engineering और terminal-oriented work को span करते हैं।

Second mechanism serving performance और price है। SpaceXAI कहता है कि Grok 4.5 80 tokens per second पर run करता है। यह $2 per million input tokens और $6 per million output tokens costs करता है। Agent workflows के लिए, वे figures together matter करती हैं: input pricing large prompts और accumulated task context को affect करती है, जबकि output pricing long generated responses को affect करती है। Throughput एक और practical input provide करती है जब यह estimate करने में कि एक run कितनी जल्दी generated tokens produce कर सकता है।

Builder implication straightforward है: Grok 4.5 अब benchmark performance alone के बजाय published capability, throughput, और cost figures का use करके एक API model के रूप में evaluate किया जा सकता है। Teams अपने representative coding tasks पर इसके measured behavior की company के claims के साथ compare कर सकती हैं, फिर successful runs के token economics calculate कर सकती हैं।

आगे देखने वाली बात यह है कि वे published results reported benchmarks के बाहर कैसे translate होते हैं। Useful evidence वह होंगे जो repository-level evaluations होंगे जो task completion को generated-token volume, response speed, और Responses API के through total input-output cost के साथ measure करते हैं।

[07:02] GPT-Live ChatGPT में फुल-डुप्लेक्स वॉइस लाता है

OpenAI ने GPT-Live पेश किया, एक नया फुल-डुप्लेक्स वॉइस-मॉडल परिवार जो अब ChatGPT वॉइस को शक्ति प्रदान करता है। महत्वपूर्ण बदलाव केवल स्पीच आउटपुट नहीं है: GPT-Live प्राकृतिक मानव-AI इंटरैक्शन के लिए डिज़ाइन किया गया है, जो एक साथ सुनने और बोलने में सक्षम है। OpenAI दो मॉडल का नाम GPT-Live-1 और GPT-Live-1 mini रखता है, और यह परिवार GPT-5.6 से अलग है।

पहला ठोस तंत्र है समकालिक इनपुट और आउटपुट। GPT-Live बोलते हुए सुन सकता है, इसके बजाय यह आवश्यकता नहीं कि हर इंटरैक्शन स्पष्ट रूप से यूजर टर्न के बाद मॉडल टर्न के क्रम में समाप्त हो। OpenAI यह भी कहता है कि मॉडल प्रति सेकंड कई बार इंटरैक्शन निर्णय ले सकता है। बिल्डर्स के लिए, यही मुख्य रनटाइम व्यवहार है: एक वॉइस अनुभव जैसे-जैसे इंटरैक्शन सामने आता है, उसका जवाब दे सकता है, इसके बजाय यह हर बोले गए योगदान को पूर्ण ब्लॉक मानने और फिर तय करने से पहले कि आगे क्या होगा।

दूसरा तंत्र है डेलीगेशन। लॉन्च पर, GPT-Live गहरे काम को GPT-5.5 को सौंप सकता है। इससे अनुभव के अंदर एक स्पष्ट कार्यात्मक विभाजन बनता है: GPT-Live लाइव इंटरैक्शन संभालता है, जबकि एक अलग मॉडल उन कार्यों को ले सकता है जिन्हें गहरी प्रोसेसिंग की आवश्यकता है। OpenAI ने GPT-Live को GPT-5.6 पर चलने के रूप में प्रस्तुत नहीं किया है, इसलिए इन परिवारों को एक आर्किटेक्चर या प्रोडक्ट क्लेम में नहीं मिलाया जाना चाहिए।

बिल्डर्स के लिए इसका मतलब है कि वॉइस-एजेंट वर्कफ़्लो को निरंतर संवादात्मक निर्णयों को ध्यान में रखना होगा, न कि केवल ट्रांसक्रिप्शन के बाद टेक्स्ट-मॉडल रिस्पांस और सिंथेसाइज़्ड प्लेबैक। डेलीगेशन व्यवहार भी टीमों को एक ठोस पैटर्न देता है जिसका मूल्यांकन करना चाहिए: तत्काल इंटरैक्शन को रिस्पॉन्सिव रखें जबकि गहरे कार्यों को कहीं और रूट करें।

उपलब्धता का विवरण महत्वपूर्ण है। GPT-Live पहले से ही ChatGPT वॉइस को शक्ति प्रदान करता है, लेकिन OpenAI ने API को जल्द आने वाला बताया है। देखने की अगली बात खुद API है: विशेष रूप से, OpenAI फुल-डुप्लेक्स इंटरैक्शन, बार-बार निर्णय-निर्माण, और डेलीगेशन को डेवलपर्स के सामने कैसे प्रस्तुत करता है। जब तक ये विवरण नहीं आते, व्यावहारिक निष्कर्ष मॉडल परिवार और उसके प्रोडक्ट व्यवहार है, न कि कोई माना गया रिक्वेस्ट फॉर्मेट या इंटीग्रेशन आर्किटेक्चर।

[08:55] Mistral ने कैमरा-ओनली रोबोट नेविगेशन के लिए 8B Robostral Navigate पेश किया

Mistral ने Robostral Navigate पेश किया है, एक 8-बिलियन-पैरामीटर मॉडल जो रोबोटिक्स नेविगेशन पर केंद्रित है। मुख्य परिणाम कंपनी-रिपोर्टेड R2R-CE पर 76.6 प्रतिशत है, लेकिन बिल्डर्स के लिए अधिक तुरंत उपयोगी विवरण सेंसिंग सेटअप है: Robostral Navigate एक RGB कैमरा का उपयोग करता है। Mistral स्पष्ट रूप से कहता है कि मॉडल को डेप्थ सेंसर, LiDAR, या एकाधिक कैमरों की आवश्यकता नहीं है।

ये दो ठोस तंत्र हैं जिन्हें अलग रखना है। पहला है खुद मॉडल: R2R-CE पर Mistral द्वारा मूल्यांकन किया गया एक 8B नेविगेशन मॉडल। दूसरा है इनपुट बाधा: एकल मानक RGB व्यू, रंग, गहराई, लेजर रेंजिंग, या कई कैमरा फीड्स के संयोजन के बजाय। यह स्थापित नहीं करता कि मॉडल हर भौतिक वातावरण में कैसे व्यवहार करेगा, लेकिन यह रोबोटिक्स टीमों को जांच के लिए एक बहुत संकरा हार्डवेयर धारणा देता है।

बिल्डर्स के लिए, यह वर्कफ़्लो की शुरुआत में महत्वपूर्ण है। नेविगेशन प्रोटोटाइप अक्सर उन निर्णयों से शुरू होता है कि कौन से सेंसर स्थापित किए जाने चाहिए, इससे पहले कि मॉडल मूल्यांकन शुरू हो सके। Mistral की घोषणा से पता चलता है कि Robostral Navigate का मूल्यांकन करने वाली टीमें पहला प्रयोग कैमरा-ओनली परसेप्शन के आसपास तैयार कर सकती हैं, इस धारणा के बिना कि डेप्थ हार्डवेयर, LiDAR, या मल्टी-कैमरा रिग इस मॉडल के लिए अनिवार्य है। यह परीक्षण प्रश्न को सरल बना सकता है: क्या मॉडल की रिपोर्ट की गई नेविगेशन क्षमता टीम के लक्षित वातावरण में एक RGB स्ट्रीम का उपयोग करके स्थानांतरित होती है।

बेंचमार्क नंबर को Mistral के दावे के रूप में लेबल किया जाना चाहिए। स्रोत R2R-CE स्कोर, पैरामीटर काउंट और सेंसर कॉन्फ़िगरेशन प्रदान करता है, लेकिन यह मॉडल की आंतरिक आर्किटेक्चर, आउटपुट प्रिमिटिव्स, रनटाइम आवश्यकताएं, API सतह, या उस मूल्यांकन के बाहर के व्यवहार को निर्दिष्ट नहीं करता। बिल्डर्स को उन खाली जगहों को भरने से बचना चाहिए।

आगे देखने के लिए रिपोर्ट किए गए 76.6 प्रतिशत से परे साक्ष्य है: विशेष रूप से यह कि मूल्यांकन यह दर्शाते हैं कि एक सिंगल RGB कैमरा कहां पर्याप्त है और कहां गहराई, LiDAR, या अतिरिक्त व्यूपॉइंट की अनुपस्थधिक सीमित करने वाली हो जाती है। तब तक, Robostral Navigate एक ठोस कैमरा-ओनली नेविगेशन मॉडल है जिसका परीक्षण करें, यह प्रमाण नहीं है कि हर रोबोट या वातावरण के लिए समृद्ध सेंसिंग अनावश्यक है।

[10:54] OpenAI का ChatGPT Work लक्ष्यों को पूर्ण प्रोजेक्ट आर्टिफैक्ट में बदलता है

OpenAI ने ChatGPT Work पेश किया है, एक एजेंट जो लक्ष्य लेकर उसे ऐप्स और फाइलों में पूर्ण कार्य में बदलने के लिए बनाया गया है। 9 जुलाई को प्रकाशित, यह घोषणा उत्पाद को महत्वाकांक्षी, विस्तारित प्रोजेक्ट्स के इर्दगिर्द स्थित करती है, अलग-थलग प्रश्नों या एक बार के जेनरेट किए गए आर्टिफैक्ट्स के बजाय। ChatGPT Work जरूरत पड़ने पर घंटों तक एक प्रोजेक्ट के साथ रह सकता है, इसे एक क्रम में कार्य जारी रखने का समय देता है, एक सिंगल रिस्पॉन्स के बाद समाप्त होने के बजाय।

दो तंत्र वर्कफ़्लो को परिभाषित करते हैं। पहला, एजेंट कार्य को चरणों में तोड़ता है और उपयोगकर्ता के ऐप्स और फाइलों में कार्य करता है। यह प्रोजेक्ट को खुद कार्य की इकाई बनाता है: एक लक्ष्य में प्रासंगिक सामग्री एकत्र करना, कई चरणों से गुजरना और कार्य जहां belongs वहां आउटपुट तैयार करना शामिल हो सकता है। दूसरा, ChatGPT Work कई ठोस आर्टिफैक्ट प्रकार बना सकता है, जिसमें शीट्स, स्लाइड्स, डॉक्यूमेंट्स और वेब ऐप्स शामिल हैं। OpenAI का कहना है कि एजेंट GPT-5.6 द्वारा संचालित है।

बिल्डर्स के लिए, महत्वपूर्ण बदलाव प्रॉम्प्ट-सेंट्रिक इंटरैक्शन से असाइनमेंट्स की ओर है जिनमें अवधि, कई चरण और स्पष्ट डिलिवरेबल्स हों। एक उपयोगी एजेंट टास्क अब "इस सवाल का जवाब दें" जैसा नहीं बल्कि "इस प्रोजेक्ट को लक्ष्य से पूर्ण आर्टिफैक्ट सेट तक ले जाएं" जैसा वर्णित किया जा सकता है। यह वर्कफ़्लो डिज़ाइन को स्रोत ऐप्स और फाइलों, इच्छित आउटपुट्स और प्रोजेक्ट की सीमा को स्पष्ट रूप से परिभाषित करने की ओर स्थानांतरित करता है ताकि एजेंट विस्तारित अवधि में प्रगति करता रहे।

तुरंत का अवसर पुनरावर्ती ज्ञान-कार्य प्रक्रियाओं को उन आर्टिफैक्ट्स के आसपास पैकेज करना है जो टीमें पहले से उपयोग करती हैं: एक स्प्रेडशीट, एक प्रेजेंटेशन, एक डॉक्यूमेंट, या एक कार्यशील वेब ऐप, संभवतः同一 प्रोजेक्ट के हिस्सों के रूप में उत्पादित। आगे देखने के लिए यह है कि डेवलपर्स और टीमें घंटों तक फैले कार्य का मूल्यांकन कैसे करती हैं: केवल रिस्पॉन्स क्वालिटी से नहीं, बल्कि यह देखकर कि चरण मूल लक्ष्य के साथ संरेखित रहते हैं और परिणामी आर्टिफैक्ट्स का संग्रह पूर्ण कार्य है या नहीं।

[12:46] Microsoft का Flint एजेंट्स को चार्ट बनाने के लिए एक कॉम्पैक्ट भाषा देता है

Microsoft ने Flint जारी किया है, एक ओपन-सोर्स विज़ुअलाइज़ेशन भाषा जो विशेष रूप से AI एजेंट्स को कॉम्पैक्ट स्पेसिफिकेशन से अभिव्यंजक चार्ट बनाने में मदद करने के लिए बनाई गई है। प्रोजेक्ट Microsoft Research से आया है, और इसके लॉन्च ने Hacker News पर 344 का स्कोर आकर्षित किया, जो एजेंट्स और डेटा विज़ुअलाइज़ेशन पर काम करने वाले डेवलपर्स से मजबूत प्रारंभिक रुचि दर्शाता है।

Flint जो समस्या हल करता है वह व्यावहारिक है: छोटे चार्ट स्पेसिफिकेशन एजेंट्स और लोगों के लिए लिखना आसान है, लेकिन Microsoft का कहना है कि वे अक्सर निरुत्साहित परिणाम देते हैं। अधिक विस्तृत विज़ुअलाइज़ेशन प्रोग्राम बेहतर चार्ट दे सकते हैं, फिर भी वे मनुष्यों के लिए निरीक्षण और संपादन करना कठिन होते हैं। Flint इन चरम सीमाओं के बीच अपनी स्थिति बनाता है, जेनरेट किए गए चार्ट कोड को अपारदर्शी अंतिम आर्टिफैक्ट मानने के बजाय कॉम्पैक्ट, मानव-संपादन योग्य स्पेसिफिकेशन का उपयोग करता है।

दो तंत्र इसे एजेंट वर्कफ़्लो में उपयोगी बनाते हैं। पहला, Flint अपने स्पेसिफिकेशन को तीन स्थापित विज़ुअलाइज़ेशन सिस्टम में कंपाइल करता है: Vega-Lite, ECharts, और Chart.js। यह बिल्डर को एकाधिक रेंडरिंग टारगेट देता है बिना किसी एक टारगेट के फॉर्मेट में सीधे एजेंट के सोर्स रिप्रेजेंटेशन को लिखने की आवश्यकता के। दूसरा, Flint में एक MCP चार्ट सर्वर शामिल है। यह MCP-संगत एजेंट को टूल-संचालित वर्कफ़्लो के हिस्से के रूप में भाषा का उपयोग करने के लिए एक परिभाषित एकीकरण बिंदु देता है।

बिल्डरों के लिए, तत्काल निहितार्थ यह है कि चार्ट जेनरेशन एक समीक्षा-योग्य हैंडऑफ़ बन सकता है, न कि केवल एक जेनरेटेड इमेज या लाइब्रेरी-विशिष्ट कोड का एक बड़ा ब्लॉक। एक व्यक्ति कॉम्पैक्ट Flint स्पेसिफिकेशन का निरीक्षण और संपादन कर सकता है, जबकि कंपाइलर चयनित विज़ुअलाइज़ेशन सिस्टम में अनुवाद संभालता है। ओपन-सोर्स रिलीज़ यह भी संभव बनाती है कि उस वर्कफ़्लो का सीधे मूल्यांकन किया जा सके, बिना किसी क्लोज़्ड चार्ट-जेनरेशन प्रोडक्ट पर निर्भर हुए।

आगे देखने की बात यह है कि क्या Flint का कॉम्पैक्ट फॉर्मेट तीनों कंपाइलेशन टारगेट में वास्तविक डैशबोर्ड और एनालिटिकल कार्य के लिए पर्याप्त एक्सप्रेसिव कंट्रोल लगातार बनाए रखता है। अपनाना इस पर भी निर्भर होगा कि क्या एजेंट-टूल डेवलपर्स MCP सर्वर का व्यावहारिक चार्टिंग इंटरफ़ेस के रूप में उपयोग करते हैं और क्या ह्यूमन एडिटर्र को Flint स्पेसिफिकेशन खुद टारगेट फॉर्मेट की तुलना में सार्थक रूप से संशोधित करना आसान लगता है।

[14:42] लैटेंट मेमोरी पैलेस निरंतर नियंत्रण में अनुकूली तर्क लाता है

लैटेंट मेमोरी पैलेस निरंतर-नियंत्रण पॉलिसी के लिए भाषा स्थान में सीधे तर्क करने के बिना अनुकूली रूप से तर्क करने का एक तरीका प्रस्तावित करता है। arXiv 2607.08724 में, चुनिंग झू, ईवा झू, और होसे बारेरोस तर्क देते हैं कि भाषा प्रतिनिधित्व स्पैटियल समझ और सटीक गतिविधियों के लिए पर्याप्त कणिकता प्रदान नहीं कर सकते, भले ही भाषा मॉडल जवाब देने से पहले कितने विचार का उपयोग करते हैं, यह भिन्न कर सकते हैं।

पेपर का पहला ठोस तंत्र एक ऑटोरेग्रेसिव लैटेंट स्पेस है जो मेमोरी पैलेस की तरह व्यवस्थित है। उस स्थान के अंदर सूचना पुनर्प्राप्ति इटरेटिव और अनुकूली है, जो पॉलिसी को प्रत्येक क्रिया के लिए निश्चित मात्रा में कंप्यूटेशन पर बाध्य होने के बजाय अपनी तर्क प्रक्रिया में भिन्नता करने की अनुमति देती है। लेखक इस तर्क प्रक्रिया को ऑटोरेग्रेसिव लैटेंट डिस्ट्रिब्यूशन के साथ वैरिएशनल इन्फरेंस के रूप में फॉर्मूलेट करते हैं। फिर वे एक लैटेंट-स्पेस रीइन्फोर्समेंट लर्निंग तकनीक प्राप्त करते हैं जो संबंधित वैरिएशनल लोअर बाउंड को ट्रैक्टेबल रूप से ऑप्टिमाइज़ करने के लिए डिज़ाइन की गई है।

वह विधि LMP-π उत्पन्न करती है, एक नियंत्रण पॉलिसी जिसके बारे में सारांश कहता है कि यह सिमुलेशन और वास्तविक-विश्व डोमेन में मजबूत अनुभवजन्य प्रदर्शन प्राप्त करती है। यह इंटरप्रेटेबल, अनुकूली टेस्ट-टाइम कंप्यूट आवंटन भी प्रदर्शित करती है: कुछ नियंत्रण निर्णय जल्दी से लिए जा सकते हैं, जबकि अन्य को लंबेरा लैटेंट विचार मिलता है। सारांश संख्यात्मक बेंचमार्क स्कोर, टास्क काउंट, या प्रतिशत सुधार प्रदान नहीं करता, इसलिए हेडलाइन परिणाम गुणात्मक है, रिपोर्ट किया गया कोई नंबर नहीं।

दूसरा तंत्र LMP-tok है, उसी फ्रेमवर्क से प्राप्त एक वेरिएबल-लेंथ एक्शन टोकनाइज़र। सारांश के अनुसार, यह डाउनस्ट्रीम ऑटोरेग्रेसिव पॉलिसी को महत्वपूर्ण रूप से बेहतर बनाता है। यह लैटेंट तर्क को एक्शन रिप्रेजेंटेशन से जोड़ता है: योगदान केवल एक पॉलिसी नहीं है जो अनुकूली रूप से कंप्यूट खर्च कर सकती है, बल्कि एक टोकनाइज़र भी है जो वेरिएबल लेंथ पर एक्शन का प्रतिनिधित्व कर सकता है।

बिल्डरों के लिए, यह लैटेंट तर्क को हाई-लेवल एजेंट प्लानिंग और लो-लेवल कंट्रोल एक्ज़ीक्यूशन के बीच रखता है। यह उन एजेंटों के लिए एक शोध दिशा प्रदान करता है जिन्हें प्रत्येक आंतरिक स्टेप को भाषा में अनुवादित किए बिना हेरफेर, नेविगेट या अन्यथा सटीक निरंतर एक्शन प्रस्तुत करने होंगे। आगे देखने की बात यह है कि पूर्ण पेपर का टास्क-लेवल मूल्यांकन, कंप्यूट-आवंटन व्यवहार, और साक्ष्य कि LMP-π या LMP-tok कब सबसे बड़े लाभ प्रदान करता है।

[16:41] साइटेशन जज्स को बायस कैलिब्रेशन की जरूरत है, सिर्फ हाई F1 नहीं

यह पेपर डीप-रिसर्च एजेंट्स के लिए एक व्यावहारिक मूल्यांकन प्रश्न पूछता है: क्या साइटेशन वेरिफायर को फ्रंटियर मॉडल की जरूरत है, या क्या सस्ते जज एक उपयोगी ट्रेनिंग सिग्नल प्रदान कर सकते हैं? arXiv 2607.08700 में, Ethan Leung, Elias Lumer, और Corey Feld उन LLM जज की जांच करते हैं जिनका उपयोग साइटेशन-क्वालिटी रूब्रिक्स को स्कोर करने के लिए किया जाता है, विशेष रूप से जब वे स्कोर reinforcement learning में रिवॉर्ड बन जाते हैं।

मूल्यांकन साइटेशन क्वालिटी को हर attribution-citation जोड़ी के लिए दो निर्णयों में विभाजित करता है: क्या स्रोत प्रासंगिक है और क्या यह लिखे गए दावे का तथ्यात्मक समर्थन करता है। लेखक तीन मॉडल परिवारों के आठ ऑफ-द-शेल्फ LLM जज का परीक्षण 1,248 रूब्रिक निर्णयों वाले एक एडवरसैरियल लॉन्ग-फॉर्म बेंचमार्क पर करते हैं। हर निर्णय की मानव-समीक्षा की गई थी, और 378 कठिन मामलों का निर्णय जज के बीच असहमति के बाद किया गया।

मुख्य परिणाम यह है कि सस्ते जज दोनों आयामों पर प्रतिस्पर्धी बने हुए हैं। GPT-5-mini सबसे मजबूत स्रोत-प्रासंगिकता पास-क्लास F1 प्रदान करता है, जो 0.908 है, जिसका कप्पा 0.636 है। तथ्यात्मक समर्थन के लिए, जज सांख्यिकीय रूप से अविभेद्य हैं क्योंकि उनके कॉन्फिडेंस इंटरवल ओवरलैप करते हैं, इसलिए बेंचमार्क एक मॉडल की पहचान नहीं करता जो प्रभावी हो।

लेकिन तुलनीय F1 स्कोर तुलनीय रिवॉर्ड व्यवहार का मतलब नहीं है। जज पास-रेट ड्रिफ्ट, फॉल्स-पॉजिटिव रेट, और फॉल्स-नेगेटिव रेट में काफी भिन्न हैं। वे दिशात्मक पूर्वाग्रह महत्वपूर्ण हैं क्योंकि एक reinforcement-learning सिस्टम केवल जज के स्कोर की रिपोर्ट नहीं करता; यह इसके विरुद्ध अनुकूलन करता है। एक वेरिफायर जो बार-बार बिना समर्थन वाले दावों को स्वीकार करता है एक विफलता मोड को पुरस्कृत कर सकता है, जबकि अत्यधिक फॉल्स नेगेटिव वाला वेरिफायर समर्थित दावों को हतोत्साहित कर सकता है।

बिल्डर्स के लिए, यह साइटेशन बेंचमार्क और ट्रेनिंग लूप के बीच एक ठोस मापन परत बनाता है। जज चयन में रूब्रिक आयाम और त्रुटि दिशा द्वारा कैलिब्रेशन शामिल होना चाहिए, प्रदर्शन को एक ही स्केलर स्कोर में नहीं समेटना चाहिए। यह यह भी सुझाव देता है कि कम-लागत वाले जज तब व्यवहार्य हो सकते हैं जब उनकी बायस प्रोफाइल इरादे से मेल खाती है। आगे देखें कि क्या ये कैलिब्रेशन निष्कर्ष एडवरसैरियल लॉन्ग-फॉर्म साइटेशन एट्रिब्यूशन से आगे एजेंट ट्रेनिंग में उपयोग किए जाने वाले अन्य रूब्रिक-आधारित रिवॉर्ड तक सामान्यीकृत होते हैं।

[18:34] OpenAI ऑडिट में SWE-Bench Pro में शोर पाया गया

OpenAI ने SWE-Bench Pro का एक नया विश्लेषण प्रकाशित किया है जो लीडरबोर्ड पोजीशन द्वारा कोडिंग मॉडल चुनने वाले किसी भी व्यक्ति के लिए एक सीधा प्रश्न उठाता है: मापा गया प्रदर्शन मॉडल से कितना आता है, और कितना खराब मूल्यांकन कार्यों से आता है? SWE-Bench Pro एक लोकप्रिय कोडिंग बेंचमार्क है, लेकिन OpenAI के ऑडिट में इसके पब्लिक स्प्लिट में महत्वपूर्ण समस्याएं पाई गईं।

पहला ठोस आंकड़ा समीक्षा का दायरा है। पब्लिक स्प्लिट में 731 कार्य हैं। एक एजेंट-असिस्टेड डेटापॉइंट ऑडिट ने 200 टूटे हुए कार्यों की पहचान की, जबकि एक अलग मानव एनोटेशन ने 249 की पहचान की। उस कार्य के आधार पर, OpenAI का अनुमान है कि बेंचमार्क के लगभग 30 प्रतिशत कार्य टूटे हुए हैं। यह इतना बड़ा है कि गंभीर विश्वसनीयता और सटीकता चिंताएं पैदा करने के लिए, जब स्कोर का उपयोग मॉडल की तुलना के लिए किया जाता है।

दूसरा उपयोगी तंत्र OpenAI का "टूटा हुआ" क्या है, इसका विवरण है। विश्लेषण चार श्रेणियों की पहचान करता है: अत्यधिक कठोर परीक्षण, अपर्याप्त रूप से निर्दिष्ट प्रॉम्प्ट, कम टेस्ट कवरेज, और भ्रामक प्रॉम्प्ट। प्रत्येक अलग तरीके से परिणाम को विकृत कर सकता है। एक कार्य यथार्थशील समाधान को इसलिए अस्वीकार कर सकता है क्योंकि उसके परीक्षण बहुत संकीर्ण हैं, यह निर्दिष्ट नहीं करता कि मॉडल को क्या उत्पन्न करना चाहिए, कमज़ोर कवरेज के कारण महत्वपूर्ण व्यवहार को याद करता है, या मॉडल को गलत व्याख्या की ओर निर्देशित करता है।

बिल्डर्स के लिए, निहितार्थ यह नहीं है कि कोडिंग मूल्यांकन बेकार हैं। यह है कि एक एकल समग्र स्कोर को पूरे मॉडल-चयन निर्णय को नहीं उठाना चाहिए। बेंचमार्क परिणाम एजेंट क्षमता और कार्य सेट की गुणवत्ता दोनों को प्रतिबिंबित कर सकते हैं, इसलिए तुलना को कार्य और विफलता-श्रेणी के स्तर पर जांच की आवश्यकता है, इससे पहले कि वे वर्कफ़्लो परिवर्तनों को चलाएं।

देखने की अगली बात यह है कि क्या बेंचमार्क मेंटेनर प्रभावित SWE-Bench Pro कार्यों को संशोधित करते हैं, स्पष्ट वैधता मानदंड प्रकाशित करते हैं, या पुष्टि किए गए कार्यों को विवादित कार्यों से अलग करते हैं। यह भी देखें कि इस ऑडिट के बाद मॉडल वेंडर परिणाम कैसे रिपोर्ट करते हैं: सबसे उपयोगी प्रकटीकरण कच्चे बेंचमार्क प्रदर्शन को समीक्षा किए गए कार्य सेट पर प्रदर्शन से अलग करेंगे।

[20:25] UniClawBench Tests Proactive Agents Across Live, Multi-Turn Workflows

UniClawBench सक्रिय एजेंटों का मूल्यांकन करने का एक क्षमता-संचालित तरीका पेश करता है जो गतिशील, वास्तविक-दुनिया सेटिंग्स में रोजमर्रा के उपकरणों का संचालन करते हैं। पेपर Zhekai Chen, Chengqi Duan, और Kaiyue Sun से है और arXiv 2607.08768 के रूप में सूचीबद्ध है। इसका केंद्रीय तर्क यह है कि सैंडबॉक्स्ड, सिंगल-टर्न बेंचमार्क और परिदृश्य-आधारित वर्गीकरण एजेंट विफलताओं के निदान को कठिन बनाते हैं क्योंकि एक परिदृश्य कई अंतर्निहित मॉडल क्षमताओं को मिला सकता है।

बेंचमार्क पांच मूलभूत क्षमताओं के आसपास मूल्यांकन को पुनर्गठित करता है: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, और Cross-Platform Coordination। वह टैक्सोनॉमी 400 द्विभाषी वास्तविक-दुनिया के कार्यों का समर्थन करती है। हेडलाइन योगदान इसलिए एक नया मॉडल स्कोर या दावा किया गया प्रतिशत लाभ नहीं है; दिए गए सार में कोई बेंचमार्क प्रतिशत रिपोर्ट नहीं है। यह 400 कार्यों का वह संयोजन है जो एक क्षमता-स्तर की संरचना के साथ आता है जिसका उद्देश्य यह बताना है कि एजेंट क्यों विफल हुआ, न कि केवल यह कि एक व्यापक परिदृश्य पूरा हुआ या नहीं।

कार्यान्वयन भी ठोस है। स्टैटिक, प्रीरिकॉर्डेड उत्तरों की तुलना करने के बजाय, UniClawBench एजेंटों को लाइव Docker कंटेनरों में चलाता है और फाइन-ग्रेन्ड, स्टेप-बाय-स्टेप पूर्णता चेकपॉइंट के माध्यम से प्रगति को ग्रेड करता है। इसका क्लोज्ड-लूप मूल्यांकन तीन भूमिकाओं का उपयोग करता है: एक एक्जीक्यूटर एजेंट कार्य करता है, एक छिपा हुआ सुपरवाइज़र एजेंट व्यवहार का मूल्यांकन करता है, और एक यूज़र एजेंट यथार्थवादी मल्टी-टर्न मानव फीडबैक प्रदान करता है। सुपरवाइज़र को छिपाए रखना ग्रेडिंग मानदंडों को इंटरैक्शन में लीक होने से रोकने के लिए डिज़ाइन किया गया है।

बिल्डर्स के लिए, यह संकरे टूल-कॉल टेस्ट और अविभेदित एंड-टू-एंड सक्सेस रेट के बीच एक मापन परत बनाता है। एक विफल वर्कफ़्लो को क्षमता श्रेणियों और इंटरमीडिएट चेकपॉइंट के माध्यम से जांचा जा सकता है, जिससे मॉडल की एक्सप्लोरेशन या लॉन्ग-कॉन्टेक्स्ट कमज़ोरी को फ्रेमवर्क-लेवल कोऑर्डिनेशन समस्या से अलग करना आसान हो जाता है। यह उन टीमों के लिए मायने रखता है जो तय कर रही हैं कि मॉडल, प्रॉम्प्ट, टूल्स या ऑर्केस्ट्रेशन बदलना है या नहीं।

देखने की अगली बात यह है कि क्या बेंचमार्क की क्षमता श्रेणियां और क्लोज्ड-लूप ग्रेडिंग लेखकों द्वारा मूल्यांकन किए गए अत्याधुनिक सिस्टम में बेस-मॉडल सीमाओं को एजेंट-फ्रेमवर्क डिज़ाइन चॉइस से लगातार अलग करती हैं।

[22:13] WebSwarm Recursively Delegates Deep-and-Wide Web Research

WebSwarm वेब-सर्च एजेंटों के लिए एक प्रोग्रेसिव रिकर्सिव डेलीगेशन फ्रेमवर्क पेश करता है जिन्हें गहराई और चौड़ाई दोनों की जरूरत है। पेपर Xiaoshuai Song, Liancheng Zhang, और Kangzhi Zhao द्वारा है, arXiv 2607.08662 के रूप में प्रकाशित। इसका स्टार्टिंग पॉइंट एक व्यावहारिक सीमा है: एक सिंगल ReAct-स्टाइल एजेंट का एक लंबा ट्रैजेक्टरी और सीमित कॉन्टेक्स्ट विस्तृत फॉलो-अप्स को आगे बढ़ाने और व्यापक कवरेज बनाए रखने दोनों को कठिन बनाता है। मौजूदा मल्टी-एजेंट दृष्टिकोण पैरलल एक्जीक्यूशन और एग्रीगेशन जोड़ते हैं, लेकिन लेखक रिकर्सिव डेप्थ, एडैप्टेबल कोलैबोरेशन, और एविडेंस-ग्राउंडेड एक्सपैंशन में शेष सीमाओं की पहचान करते हैं।

पहला ठोस मैकेनिज्म एजेंटिक सर्च नोड्स की एक डायनामिकली कंस्ट्रक्टेड हायरार्की है। हर नोड एक लोकल ऑब्जेक्टिव को एक सर्च मोड के साथ जोड़ता है जो यह स्पेसिफाई करता है कि उस नोड को सर्च और कोलैबोरेशन कैसे ऑर्गनाइज़ करना चाहिए। एक नोड अपने ऑब्जेक्टिव को सीधे सॉल्व कर सकता है या चाइल्ड नोड्स को डेलीगेट कर सकता है। एक बार पूरा होने के बाद, यह एविडेंस और रिज़ल्ट्स वापस ऊपर भेजता है। पैरेंट नोड्स तब दूसरी ब्रांच एक्सपैंड कर सकते हैं, अपनी दिशा रिवाइज़ कर सकते हैं, या जो चिल्ड्रन ने पाया उसका एग्रीगेशन कर सकते हैं। डीकम्पोज़िशन इसलिए इन्फरेंस के दौरान प्रोग्रेसिवली बिल्ट होता है, न कि एक फिक्स्ड प्लान के रूप में माना जाता है।

दूसरी तंत्र वेब पर सूचना की स्पष्ट संरचना में विस्तार को आधारित करती है। WebSwarm पहले यह पता लगाता है कि कार्य-प्रासंगिक सूचना कैसे व्यवस्थित है, फिर उस सूचना का उपयोग बाद के नोड विस्तार को मार्गदर्शन करने के लिए करता है। यह समान सहोदर नोड्स में प्रक्रिया-स्तरीय अनुभव का पुनः उपयोग भी करता है, जिससे संबंधित शाखाओं को पेड़ में कहीं और किए गए खोज कार्य से लाभ मिल सके।

लेखक चार नामित बेंचमार्क पर WebSwarm का मूल्यांकन करते हैं: BrowseComp-Plus, WideSearch, DeepWideSearch, और GISA। सारांश रिपोर्ट करता है कि यह गहन, चौड़े और संयुक्त खोज सेटिंग्स में एकल-एजेंट और बहु-एजेंट बेसलाइन से लगातार बेहतर प्रदर्शन करता है, लेकिन यह संख्यात्मक मार्जिन प्रदान नहीं करता।

निर्माताओं के लिए, यह जटिल अनुसंधान वर्कफ़्लो के लिए एजेंट-स्टैक रोडमैप पर पुनरावर्ती, साक्ष्य-प्रतिक्रियाशील ऑर्केस्ट्रेशन रखता है। अगले चरण में देखने के लिए मुख्य प्रश्न यह है कि पूर्ण पेपर गतिशील रूप से विस्तारित खोज पेड़ों की लागत, विलंबता और स्केलिंग व्यवहार को कैसे मापता है।

[24:05] ProjAgent प्रोसेड्योरल समानता द्वारा कोड पुनर्प्राप्त करता है

ProjAgent रिपॉजिटरी-स्तरीय कोड जनरेशन के लिए पुनर्प्राप्ति संकेत के रूप में प्रोसेड्योरल समानता प्रस्तुत करता है। arXiv 2607.08691 में, QiHong Chen, Aaron Imani, और Iftekir Ahmed एक निरंतर समस्या पर ध्यान केंद्रित करते हैं: एक लक्ष्य फ़ंक्शन लागू करने के लिए क्रॉस-फ़ाइल डिपेंडेंसी और प्रोजेक्ट-विशिष्ट परंपराओं को समझना आवश्यक है, लेकिन पारंपरिक पुनर्प्राप्ति अक्सर मुख्य रूप से शाब्दिक, संरचनात्मक या शब्दार्थ समानता की खोज करती है। यह विभिन्न पहचानकर्ताओं के तहत या विभिन्न एप्लिकेशन डोमेन में तुलनीय प्रक्रियाएं करने वाले रिपॉजिटरी फ़ंक्शन को मिस कर सकती है।

पहला ठोस तंत्र लक्ष्य विघटन है। ProjAgent लक्ष्य फ़ंक्शन को मध्यवर्ती तर्क चरणों में तोड़ता है, फिर एक एजेंटिक वर्कफ़्लो का उपयोग करके रिपॉजिटरी फ़ंक्शन पुनर्प्राप्त करता है जो प्रत्येक चरण में समान प्रोसेड्योरल व्यवहार प्रदर्शित करते हैं। प्रोसेड्योरल पुनर्प्राप्ति शब्दार्थ पुनर्प्राप्ति को प्रतिस्थापित नहीं करती। सिस्टम पुनर्प्राप्त प्रोसेड्योरल संदर्भ को पारंपरिक शब्दार्थ संदर्भ के साथ एकीकृत करता है, कोड जनरेशन के लिए एक समृद्ध रिपॉजिटरी संदर्भ तैयार करता है।

दूसरा तंत्र जनरेशन के बाद आता है। ProjAgent में एक रूढ़िवादी स्टैटिक-एनालिसिस फीडबैक लूप शामिल है जो कंपाइलर और स्टैटिक-एनालिसिस फीडबैक का उपयोग करके जेनरेट कोड को पुनरावर्ती रूप से मरम्मत करता है। सारांश व्यक्तिगत मरम्मत ऑपरेशन निर्दिष्ट नहीं करता, लेकिन यह स्पष्ट रूप से पुनर्प्राप्ति-समय संदर्भ निर्माण को फीडबैक-संचालित सुधार से अलग करता है।

REPOCOD पर, ProjAgent 41.14% Pass@1 प्राप्त करता है और लेखकों द्वारा मूल्यांकन की गई मौजूदा पुनर्प्राप्ति-आधारित बेसलाइन से बेहतर प्रदर्शन करता है। यह परिणाम पेपर के केंद्रीय दावे का समर्थन करता है कि प्रोसेड्योरल समानता रिपॉजिटरी-स्तरीय जनरेशन के लिए एक उपयोगी पुनर्प्राप्ति आयाम है, आज commonly used समानता संकेतों के alongside।

निर्माताओं के लिए, निहितार्थ यह है कि कोडिंग एजेंटों के लिए रिपॉजिटरी खोज को केवल साझा शब्दावली, संरचना या शब्दार्थ विषय ही नहीं, बल्कि फ़ंक्शन कार्य कैसे पूरा करते हैं, यह भी दर्शाना होगा। यह विशेष रूप से प्रासंगिक है जब पुन: प्रयोज्य कार्यान्वयन पैटर्न फ़ाइलों में वितरित हों या डोमेन-विशिष्ट नामों के पीछे छिपे हों। ProjAgent रिपॉजिटरी अनुक्रमण और कोड जनरेशन के बीच प्रोसेड्योरल पुनर्प्राप्ति रखता है, स्टैटिक फीडबैक बाद के सुधार चरण के रूप में प्रदान करता है। अगले चरण में देखना यह है कि प्रोसेड्योरल समानता अतिरिक्त रिपॉजिटरी बेंचमार्क में मदद करना जारी रखती है या नहीं और रिपोर्ट किए गए लाभ में से कितना पुनर्प्राप्ति बनाम मरम्मत लूप से आता है।

[25:57] SolarChain-Eval एनर्जी-मार्केट फिजिक्स के खिलाफ एजेंट्स का परीक्षण करता है

SolarChain-Eval विकेंद्रीकृत ऊर्जा बाजारों में स्वायत्त आर्थिक एजेंटों के परीक्षण के लिए एक भौतिकी-सीमित बेंचमार्क पेश करता है। शैक्षणिक पेपर, जो Shilin Ou, Yifan Xu, और Luyao Zhang द्वारा लिखा गया है और arXiv 2607.08681 के रूप में प्रकाशित है, उस अंतराल पर केंद्रित है जो तब दिखाई देता है जब एजेंट शुद्ध रूप से डिजिटल कार्यों को छोड़ देते हैं: एक नीति भौतिक रूप से अमान्य डेटा पर कार्य करते हुए बाजार उपयोगिता में सुधार कर सकती है, कृत्रिम तरलता का निर्माण कर सकती है, या अस्थिर शासन निर्णय उत्पन्न कर सकती है।

पहली ठोस तंत्र एक Gymnasium-संगत मार्कोव निर्णय प्रक्रिया है जो प्रति घंटे एजेंट निर्णयों के माध्यम से बाजार शासन का प्रतिनिधित्व करती है। प्रदर्शन को एक इनाम में न zusammen collapses करने के बजाय, SolarChain-Eval बाजार उपयोगिता, भौतिक सुरक्षा, स्लिपेज, क्रिया सहजता, स्थानिक न्यायसंगतता, और ऑडिटबिलिटी में नीतियों का मूल्यांकन करता है। यह आर्थिक लाभों की तुलना समान मूल्यांकन वातावरण के भीतर परिचालन व्यवहार और शासन गुणवत्ता से करना संभव बनाता है।

दूसरा तंत्र एक LLM-आधारित प्लानर/ऑडिटर परत है। प्लानर एपिसोड-स्तर की क्रिया सीमाएं और ऑडिट नियम परिभाषित करता है। ऑडिटर फिर उन क्रियाओं की समीक्षा और संशोधन करता है जिन्हें उच्च जोखिम के रूप में वर्गीकृत किया गया है। प्रत्येक हस्तक्षेप संरचित लॉग में कैप्चर किया जाता है जिसमें ट्रिगर सिग्नल, प्रस्तावित क्रियाएं, संशोधित क्रियाएं, और ऑडिट तर्क शामिल हैं। वे रिकॉर्ड इस बेंचमार्क को न केवल यह अध्ययन करने के लिए उपयोगी बनाते हैं कि हस्तक्षेप हुआ या नहीं, बल्कि यह भी कि एजेंट की क्रिया क्यों और कैसे बदली।

प्रयोग स्थिर, यादृच्छिक, अल्पदर्शी, reinforcement-learning, और RL-plus-LLM नीतियों की तुलना करते हैं। मुख्य निष्कर्ष एक स्पष्ट उपयोगिता-सुरक्षा ट्रेड-ऑफ है: RL एजेंट बाजार उपयोगिता में सुधार करते हैं लेकिन फिर भी असुरक्षित रूप से व्यवहार कर सकते हैं। जब शोधकर्ता भौतिकी दंड को हटाते हैं, तो इनाम-अधिकतमकरण करने वाले एजेंट अमान्य जनरेशन का शोषण करते हैं और कृत्रिम तरलता बढ़ाते हैं। प्लानर/ऑडिटर ऑडिटबिलिटी में सुधार करता है और चयनित जोखिमों को कम करता है।

बिल्डर्स के लिए, व्यावहारिक निहितार्थ यह है कि साइबर-भौतिक एजेंट मूल्यांकनों को स्पष्ट बाधाओं, बहुस्तरीय मीट्रिक, और निरीक्षण योग्य हस्तक्षेप रिकॉर्ड की आवश्यकता है, न कि केवल इनाम के। SolarChain-Eval एजेंट स्टैक के उस हिस्से के लिए एक ठोस बेंचमार्क आकार प्रदान करता है। आगे देखें कि इसकी प्लानर/ऑडिटर दृष्टिकोण इस ऊर्जा-बाजार सेटिंग से परे कितनी व्यापक रूप से सामान्यीकृत होता है।

[27:47] व्यावहारिक कतार

Codex 0.144 प्रमाणित MCP सत्रों और होस्ट किए गए लॉगिन फ्लो को प्रयोगात्मक प्लंबिंग के बजाय सामान्य परिनियोजन सतह बनाता है।

GPT-5.6 अब एक वास्तविक रूटिंग लैडर प्रदान करता है: सोल सबसे कठिन काम के लिए, टेरा संतुलित रोजमर्रा के काम के लिए, और लूना तेज, कम लागत वॉल्यूम के लिए।

Grok 4.5 प्रकाशित बेंचमार्क दावों, थ्रूपुट, और टोकन मूल्य निर्धारण को एक तुलना में रखता है, जबकि GPT-Live वॉइस को निरंतर पूर्ण-डुप्लेक्स इंटरैक्शन की ओर ले जाता है और Robostral परीक्षण करता है कि एक RGB कैमरे के साथ नेविगेशन कितनी दूर जा सकता है।

ChatGPT Work और Flint एजेंटों को समाप्त, संपादन योग्य आर्टिफैक्ट की ओर धकेलते हैं: एक तरफ प्रोजेक्ट आउटपुट और दूसरी तरफ कॉम्पैक्ट, मानव-पठनीय चार्ट विशिष्टताएं।

इवैल्यूएशन कहानियां दिन की सबसे मजबूत चेतावनी लेकर आती हैं। साइटेशन जजेस को बायस और एरर-रेट एनालिसिस की जरूरत है, SWE-Bench Pro में लगभग तीस प्रतिशत टूटे हुए टास्क हो सकते हैं, और UniClawBench का लक्ष्य फेलियर्स को एक स्कोर में छिपाने के बजाय क्षमता के आधार पर अलग करना है।

WebSwarm, ProjAgent, Latent Memory Palace, और SolarChain-Eval प्रत्येक संरचना को समस्या के करीब ले जाते हैं: रिकर्सिव एविडेंस गैदरिंग, प्रोसीजर-अवेयर कोड रिट्रीवल, लेटेंट कंट्रोल रीजनिंग, और फिजिक्स-कंस्ट्रेंड एजेंट इवैल्यूएशन।