Episode 86: OpenClaw v2026.7.1, OpenAI Codex rust-v0.144.4

एपिसोड 086 — 14 जुलाई, 2026

[00:00] एपिसोड हुक

OpenClaw v2026.7.1 13 जुलाई को 532 योगदानकर्ताओं के 3,063 योगदानों के साथ जारी किया गया, जिसमें Control UI, ऑनबोर्डिंग फ्लो और आधिकारिक iOS, Android और macOS ऐप्स को ओवरहॉल किया गया और मॉडल सपोर्ट का विस्तार किया गया। उसी अवधि में, OpenAI Codex CLI rust-v0.144.4 तक बढ़ गया और Claude Code CLI 2.1.202 पर आ गया। OpenRouter ने Kwaipilot के कोडिंग-फोकस्ड KAT-Coder-Air V2.5 को अपने कैटलॉग में जोड़ा, जिसमें 256,000-टोकन संदर्भ विंडो को एकमात्र तकनीकी कॉन्फ़िगरेशन विवरण के रूप में प्रस्तुत किया गया। शोधकर्ताओं ने ABot-AgentOS को एक सामान्य-उद्देश्य रोबोटिक ऑपरेटिंग सिस्टम के रूप में पेश किया जो एम्बॉडीड एजेंटों की विचारशील तर्क परत का प्रबंधन करता है, जो निम्न-स्तरीय Vision-Language-Action कंट्रोलर्स से अलग है। सुरक्षा पक्ष पर, Yibo Hu और Ren Wang द्वारा arXiv 2607.11751 कई एजेंटों में हानिकारक पेलोड विभाजित करके प्रति-संदेश रनटाइम मॉनिटर्स को हराने वाले वितरित बैकडोर हमलों को औपचारिक रूप देता है, जबकि Ayoung Lee, Ryan Kwon और Yunxiang Zhang के arXiv 2607.11736 से MET प्रस्तुत होता है, जो MCLASH बेंचमार्क द्वारा समर्थित एक बहुभाषी नैतिक-तर्क ढांचा है।

[02:00] एजेंट स्टैक रिलीज रीडआउट: OpenClaw v2026.7.1; OpenAI Codex rust-v0.144.4; Claude Code CLI 2.1.202

OpenClaw v2026.7.1 13 जुलाई को 532 योगदानकर्ताओं के 3,063 योगदानों के साथ जारी किया गया, और मल्टी-एजेंट वर्कफ्लो चलाने वाले बिल्डर्स के लिए मुख्य बदलाव openclaw attach नामक एक नया इंटीग्रेशन प्रिमिटिव है। यह कमांड Claude Code को एक चयनित OpenClaw सत्र तक अस्थायी पहुंच देता है, जिसका मतलब है कि एक टूल में शुरू किया गया कोडिंग सत्र अपना संदर्भ, फाइलें और अप्रूवल किसी अलग एजेंट को बिना बातचीत को शुरू से बनाए हुए सौंप सकता है। Codex की ओर से, डेलीगेशन और नेटिव सबएजेंट्स अब अधिक विश्वसनीय रूप से ट्रैक्ड रिजल्ट लौटाते हैं, इसलिए एक पैरेंट एजेंट जो एक Codex सबटास्क स्पॉन करता है वह स्ट्रक्चर्ड आउटपुट पढ़ सकता है लॉग्स को पोल या स्क्रैप करने के बजाय।

मॉडल सपोर्ट ठोस तरीकों से विस्तारित हुआ: समर्थित OpenAI और Codex रूट्स में GPT-5.6 संगतता में सुधार होता है, Tencent Hy3 एक पूर्ण सेटअप पथ के साथ आता है, और Meta Model API Muse Spark 1.1 जोड़ता है, Claude, Ollama, ClawRouter और LongCat पर बड़े पैमाने पर विश्वसनीयता कार्य के साथ। Copilot भी व्यापक प्रोवाइडर विकल्प प्राप्त करता है। Control UI ओवररहॉल लाइव टास्क, यूसेज और कॉस्ट व्यू, फाइलें, डाउनलोड, पेयरिंग, अप्रूवल और Gateway हेल्थ को बातचीत के साथ-साथ रखता है, और Gateway क्रैश लूप्स को स्पष्ट रूप से सुधारा गया बताया गया है, शेड्यूल्ड वर्क, रिमोट ब्राउज़र कंट्रोल, वर्कस्पेस टर्मिनल्स, सेशंस और गोल्स के साथ।

आधिकारिक क्लाइंट समान रूप से आगे बढ़े: iOS और iPadOS, Android और macOS ने सेटअप, नेविगेशन, चैट, वॉयस, परमिशन, लोकलाइजेशन, फाइलें, शेड्यूल्ड वर्क, ऑफलाइन रीडिंग, क्यूड सेंड्स, कनेक्शन रिकवरी और नेटिव सेशन कंट्रोल में महत्वपूर्ण कार्य किया। ऑनबोर्डिंग को भी एक गाइडेड सेटअप फ्लो मिला जो सेव करने से पहले कनेक्शन की जांच करता है और बाधित होने पर पिछली पसंदों को सुरक्षित रखता है। प्रत्येक मैसेजिंग सतह को अपना अपना पास मिला: Telegram लाइव प्रोग्रेस, फोटो और डॉक्यूमेंट, टॉपिक्स, कमांड्स, रिट्राइज़, अकाउंट रूटिंग, सेटअप और डिलीवरी प्राप्त करता है; Slack थ्रेड्स, कार्ड्स, प्रोग्रेस, आइडेंटिटी, रिएक्शन्स और डुप्लिकेट प्रिवेंशन में सुधार देखता है; Discord रिप्लाईज़, अटैचमेंट्स, वॉयस सेशंस, प्रोग्रेस, रीकनेक्ट्स और बेहतर अनरीड क्यूज़ के साथ मल्टी-अकाउंट बिहेवियर पर अपडेट कवर करता है।

बिल्डर्स के लिए, यह पहली रिलीज़ है जहां एक Claude Code सेशन को OpenClaw वर्कफ्लो में अटैच करना एक एकल कमांड है और Codex सबटास्क ट्रैक्ड-रिजल्ट पाइपलाइन के माध्यम से वापस प्रवाहित होते हैं, जो CI पाइपलाइन्स और एडिटर साइडकार्स में हल्के ऑर्केस्ट्रेशन ग्लू का अर्थ है जहां पैरेंट एजेंट सबएजेंट के टाइम आउट होने के बाद स्टेट रिकवर कर सकता है। अगले लिए देखें कि क्या openclaw attach एक स्टेबल क्रॉस-हार्नेस कॉन्ट्रैक्ट बनता है या अभी के लिए Claude Code के दायरे में रहता है, और क्या Gateway स्थिरता इस रिलीज़ द्वारा प्रोत्साहित भारी सबएजेंट ट्रैफिक के तहत बनी रहती है।

[03:38] OpenRouter ने कैटलॉग में Kwaipilot कोडिंग मॉडल जोड़ा

OpenRouter ने अपने कैटलॉग में प्रोवाइडर Kwaipilot से एक कोडिंग-फोकस्ड मॉडल जोड़ा है: KAT-Coder-Air V2.5। लिस्टिंग मॉडल पेज पर 256,000-टोकन संदर्भ विंडो को एकमात्र तकनीकी कॉन्फ़िगरेशन विवरण के रूप में एक्सपोज़ करती है—कोई बेंचमार्क स्कोर, पैरामीटर काउंट या प्राइसिंग संलग्न नहीं है। बिल्डर्स kwaipilot/kat-coder-air-v2.5 आइडेंटिफायर का उपयोग करके OpenRouter के चैट कम्प्लीशन्स एंडपॉइंट के माध्यम से मॉडल तक पहुंचते हैं, जो इसे किसी भी मौजूदा OpenRouter-अवेयर एजेंट हार्नेस के साथ प्लग-कम्पैटिबल रखता है: रिक्वेस्ट को रूट करें, मॉडल स्ट्रिंग को स्वैप करें, और अलग Kwaipilot अकाउंट की आवश्यकता नहीं है।

दो तंत्र ध्यान देने योग्य हैं। पहला, 256K संदर्भ विंडो मॉडल को लंबे-संदर्भ क्षेत्र में रखती है, जहां एक कोडिंग एजेंट एक ही प्रॉम्प्ट में एक बड़े भंडार डंप, एक बड़ा जेनरेटेड पैच, या संचित टूल ट्रांसक्रिप्ट को स्वीकार कर सकता है बिना आक्रामक चंकिंग के। यह एजेंट हार्नेस की वास्तुकला को स्लाइडिंग-विंडो सारांश से दूर ले जाता है जब अपस्ट्रीम मॉडल अपने आप अधिक रख सकता है। दूसरा, OpenRouter के माध्यम से मॉडल को हिट करने का मतलब है कि दर-सीमा, कैशिंग, और फॉल-ओवर व्यवहार OpenRouter के रूटिंग लेयर द्वारा नियंत्रित होते हैं, Kwaipilot के बेयर एंडपॉइंट्स नहीं - इसलिए रिट्री और ट्रेस कैप्चर उसी तरह काम करते हैं जैसे वे उसी रूटर पर हर दूसरे मॉडल के लिए करते हैं।

निर्माताओं के लिए इसका क्या मतलब है: अगर आपका एजेंट स्टैक पहले से OpenRouter के माध्यम से कोडिंग ट्रैफिक भेजता है, तो आप एक ही कॉन्फिग एंट्री संपादित करके इस मॉडल को अपने वर्तमान डिफ़ॉल्ट के साथ A/B टेस्ट कर सकते हैं, कोई नया ऑथ नहीं और कोई SDK बदलाव नहीं। यह क्यों मायने रखता है: 256K विंडो वाला एक कोडिंग-फोकस्ड मॉडल जो एक मल्टी-मॉडल रूटर तक पहुंचता है, यह पूरे-रेपो प्रॉम्प्ट्स को टेस्ट करना सस्ता बनाता है जिन्हें अन्यथा चंकिंग की जरूरत होती।

ध्यान देने वाली बात: लिस्टिंग अभी भी प्राइसिंग और eval डेटा वाले मॉडल कार्ड को छोड़ देती है, इसलिए अपनाने से पहले खुले सवाल यह हैं कि प्रति-टोकन लागत वास्तव में कितनी होगी और क्या Kwaipilot जल्द ही बेंचमार्क नंबर भरता है।

[05:24] ABot-AgentOS लॉन्ग-होराइज़न रीज़निंग और रोबोट लो-लेवल कंट्रोलर्स के बीच सेतु बनाता है

शोधकर्ताओं ने ABot-AgentOS शीर्षक से एक पेपर जारी किया है, जो एक सामान्य-उद्देश्य रोबोटिक ऑपरेटिंग सिस्टम प्रस्तावित करता है जो लो-लेवल कंट्रोलर्स और हाई-लेवल रीज़निंग मॉडल के बीच के अंतर को पाटने के लिए डिज़ाइन किया गया है। जैसे-जैसे रोबोटिक सिस्टम सरल परसेप्शन-एक्शन लूप से जटिल लॉन्ग-होराइज़न टास्क में बदलते हैं, उन्हें एक शक्तिशाली विज़न-लैंग्वेज-एक्शन मॉडल से अधिक की जरूरत है। ABot-AgentOS एक विचारशील रनटाइम लेयर के रूप में कार्य करता है जो मौजूदा कंट्रोलर्स के ऊपर बैठता है ताकि सीन-कंडीशंड प्लानिंग, टूल यूज़, और क्रॉस-एम्बॉडिमेंट एक्जीक्यूशन का प्रबंधन हो सके। यह वास्तुकला HuggingFace पर महत्वपूर्ण ध्यान प्राप्त कर रही है, वर्तमान में 61 अपवोट पर है, क्योंकि यह एम्बॉडीड इंटेलिजेंस के लिए एक मानकीकृत रनटाइम की कमी को संबोधित करती है।

ABot-AgentOS के भीतर एक प्राथमिक तंत्र इसका संदर्भ-अलग-किया-गया स्किल एक्जीक्यूशन है। हर मूवमेंट को टोकन की कच्ची स्ट्रीम के रूप में व्यवहार करने के बजाय, OS स्किल्स को मॉड्यूलर यूनिट्स के रूप में मानता है जो अलग-थलग एक्जीक्यूशन एनवायरनमेंट में चलते हैं। यह स्टेट करप्शन को रोकता है और एक अधिक मजबूत मल्टी-स्टेज वेरिफिकेशन प्रक्रिया की अनुमति देता है। एजेंट के एक टास्क फेज से दूसरे में जाने से पहले, सिस्टम अपने मल्टी-मॉडल मेमोरी का उपयोग करके वर्तमान सीन स्टेट को पूर्वानुमानित परिणाम के विरुद्ध सत्यापित करता है। यह फीडबैक लूप सुनिश्चित करता है कि रोबोट विफल पिछले चरण पर निर्माण करने का प्रयास न करे, जो वर्तमान स्वायत्त रोबोटिक वर्कफ्लो में एक सामान्य फेलियर मोड है।

इसके अलावा, सिस्टम एक हाइब्रिड एज-क्लाउड एक्जीक्यूशन मॉडल लागू करता है। यह रोबोट को डिवाइस पर लो-लेटेंसी परसेप्शन और तत्काल सुरक्षा जांच को संभालने की अनुमति देता है जबकि कम्प्यूटेशनली महंगी प्लानिंग और हाई-डायमेंशनल सीन रीज़निंग को अधिक शक्तिशाली क्लाउड संसाधनों पर ऑफलोड करता है। निर्माताओं के लिए, यह रोबोट-अग्नोस्टिक डेवलपमेंट की ओर एक बदलाव का संकेत देता है। विशिष्ट हार्डवेयर के लिए बिहेवियर्स हार्ड-कोड करने के बजाय, डेवलपर्स स्किल्स लिख सकते हैं जिन्हें AgentOS विभिन्न एम्बॉडिमेंट में प्रबंधित करता है। इसका तात्पर्य एक ऐसे भविष्य से है जहां एजेंट लॉजिक की जटिलता एक्चुएटर की विशिष्टताओं से अलग हो जाती है। देखें कि यह OS-लेवल अब्स्ट्रैक्शन जनरलिस्ट एजेंट्स के विकास को कैसे प्रभावित करता है जो बिना रिट्रेनिंग के एक हार्डवेयर प्लेटफॉर्म से दूसरे पर जा सकते हैं।

[07:16] डिस्ट्रिब्यूटेड बैकडोर मल्टी-एजेंट स्टैक्स में पर-स्टेप मॉनिटर्स तोड़ते हैं

Yibo Hu और Ren Wang का एक नया पेपर, arXiv 2607.11751 पर पोस्ट किया गया, सीधे उन पर-स्टेप रनटाइम मॉनिटर्स को निशाना बनाता है जो अधिकांश एजेंट स्टैक हर मैसेज या टूल कॉल पर लगाते हैं। थीसिस स्पष्ट है: एजेंटों में एक हानिकारक पेलोड वितरित करें, और प्रत्येक फ्रैगमेंट अभी भी संदिग्ध टोकन या प्रोवेनेंस एज लीक कर सकता है - लेकिन एक कठिन केस मौजूद है जहां हर फ्रैगमेंट स्थानीय रूप से बेनिगन है और असेंबल्ड ऑब्जेक्ट खुद हमला है। लेखक इसे ऑब्ज़र्वेबिलिटी बाउंड्री कहते हैं - एक स्थानीय मॉनिटर केवल वही पकड़ सकता है जो उसका व्यू इसे सामान्य बेनिगन ट्रैफिक से अलग बता सकता है, और वे साबित करते हैं कि एक बार फ्रैगमेंट एक चुने हुए व्यू के तहत बेनिगन दिखने लगते हैं, उस व्यू पर कोई भी डिटेक्टर उन्हें नहीं पकड़ सकता, चाहे अंतर्निहित मॉडल कितना भी मजबूत हो। सबूत यांत्रिक है। टीम ने एक नियंत्रित टेस्टबेड, एक बाहरी बेंचमार्क, और एंड-टू-एंड एजेंट रन पर मूल्यांकन किया, और दिखाया कि स्थानीय मॉनिटर्स सिग्नल खो देते हैं ठीक जैसे पेलोड के स्थानीय सबूत गायब होते हैं। सिग्नल तभी लौटता है जब मॉनिटर पूरी असेंबल्ड ऑब्जेक्ट देखता है। दो रिपोर्ट किए गए परिणाम पेपर को बांधते हैं: एक मॉनिटर जिसे केवल बेनिगन ट्रैफिक पर प्रशिक्षित किया गया था, होल्ड-आउट एन्कोडिंग में 0.874 मीन AUROC पर हमले के कोड स्ट्रक्चर को पुनर्प्राप्त करता है; एक डिकोडेड-व्यू गेट, एन्कोडिंग फैमिली को देखते हुए, हर परीक्षित हमले को ब्लॉक करता है। निर्माताओं के लिए सबसे कठिन चेतावनी: अधिक देखना पर्याप्त नहीं है - फुल-ट्रेस मॉनिटर्स और डिकोडर्स तब भी विफल होते हैं जब तक वे वास्तव में उस प्रतिनिधित्व तक नहीं पहुंचते जहां पेलोड एक्सपोज़्ड होता है। जब हानि संरचनात्मक होती है तो स्थानीय सुरक्षा वैश्विक सुरक्षा नहीं होती, इसलिए कोई भी टूल स्टैक जो केवल पर-मैसेज फिल्टर करता है एक ऐसा छेद छोड़ता है जिसके चारों ओर एक हमलावर स्पष्ट रूप से विभाजित हो सकता है। आगे देखें रेड-टीम उपयोग के लिए नियंत्रित टेस्टबेड की रिलीज़ और प्रोडक्शन एजेंट ट्रेस पर किसी भी पुनरुत्पादन के लिए।

[09:01] MET पेपर नैतिक तर्क को संस्कृति-जागरूक सिद्धांत प्रॉम्प्ट्स में आधारित करता है

arXiv पर एक नया पेपर नैतिक तर्क को बहुभाषी दृष्टिकोण से देखता है और एक प्रॉम्प्टिंग रेसिपी प्रदान करता है जिसके लिए लेबल किया गया नैतिक डेटा की आवश्यकता नहीं होती। लेखकों Ayoung Lee, Ryan Kwon, और Yunxiang Zhang ने MET: Theory-Grounded and Culture-Aware Multilingual Moral Reasoning प्रकाशित किया, पहचानकर्ता 2607.11736, जो पिछले कार्यों में तीन अंतरालों को संबोधित करता है: मौजूदा बहुभाषी बेंचमार्क अनुवादित हैं न कि सांस्कृतिक रूप से अनुकूलित, अनुमान-समय स्कैफोल्ड स्थिर और अंग्रेज़ी-केंद्रित हैं, और नैतिक प्रशिक्षण के लिए आमतौर पर महंगा मानव या मजबूत मॉडल पर्यवेक्षण की आवश्यकता होती है।

पेपर तीन योगदान प्रस्तुत करता है। पहला, MCLASH, एक बहुभाषी नैतिक निर्णय-निर्माण बेंचमार्क जो अंग्रेज़ी आइटम के सीधे अनुवादों के बजाय सांस्कृतिक रूप से स्थित नैतिक अंतर्ज्ञान और सामाजिक मानदंडों को कैप्चर करने के लिए बनाया गया है। दूसरा, MET, एक दो-चरणीय प्रॉम्प्टिंग विधि जो मनोविज्ञान और दर्शन से drawn विशेषज्ञ-क्यूरेटेड सिद्धांत पर आधारित है — मॉडल पहले स्थिति- और संस्कृति-विशिष्ट आधारों का चयन करता है, फिर उपयोगकर्ता की मूल भाषा में उन आधारों पर तर्क करता है। तीसरा, MET-D, एक डिस्टिलेशन वेरिएंट जो दूसरे तर्क चरण को लक्षित करने वाला एक सेल्फ-डिस्टिलेशन प्रशिक्षण चरण जोड़ता है, जिसके लिए कोई बाहरी पर्यवेक्षण और कोई नैतिक लेबल की आवश्यकता नहीं होती।

हेडलाइन आंकड़े तीन बेस मॉडल से आए हैं — Qwen3-4B, Qwen3-8B, और Gemma3-4B। MET-D MCLASH पर बेस मॉडल की तुलना में औसतन 3.71 अंक और MMoralExceptQA पर 4.23 अंक macro-F1 में सुधार करता है। शीर्ष लाभ Qwen3-8B पर मलय के लिए 12.94 अंक है।

बिल्डर्स के लिए जो एजेंट भेज रहे हैं जो भाषाओं में उपयोगकर्ताओं से संपर्क करते हैं, व्यावहारिक लीवर दो-चरणीय स्कैफोल्ड है: पहले संस्कृति-विशिष्ट सिद्धांत आधारों का चयन करें, फिर लक्षित भाषा में उन पर तर्क करें। यह विभाजन प्रॉम्प्ट को मॉडल आकारों और परिवारों में पोर्टेबल रखता है और ठंडे शुरुआत की समस्या से बचता है जब कोई नैतिक-पर्यवेक्षण डेटासेट मौजूद नहीं होता। Qwen3-4B और Gemma3-4B के आंकड़े बिल्डर्स के लिए सबसे महत्वपूर्ण हैं क्योंकि वे बाहरी एनोटेटर्स के बिना macro-F1 लाभ दिखाते हैं। आगे देखें कि MCLASH इस पेपर के बाहर एक मानक eval बनता है या नहीं और MET-D की सेल्फ-डिस्टिलेशन रेसिपी गैर-नैतिक तर्क डोमेन में स्थानांतरित होती है या नहीं।

[10:51] PPVC फैक्ट्री शेड्यूलिंग के लिए टाइम-लैग-अवेयर डीप आरएल

कंस्ट्रक्शन शेड्यूलिंग को अभी एक प्रकाशित बेंचमार्क और एक पॉलिसी मिली है जो एक सटीक सॉल्वर से लगभग 4% के भीतर आती है। Ziheng Zhang और Wei Zhang ने arXiv 2607.11725 पोस्ट किया, जो प्रीफैब्रिकेटेड प्रीफिनिश्ड वॉल्यूमेट्रिक कंस्ट्रक्शन, या PPVC, मॉड्यूल फैक्ट्रियों में फ्लेक्सिबल जॉब-शॉप शेड्यूलिंग को लक्षित करता है।

वे जिस समस्या को संबोधित करते हैं वह पोस्ट-ऑपरेशन टाइम-लैग है। एक वर्कस्टेशन के किसी कार्य को पूरा करने के बाद, मॉड्यूल ब्लॉक्ड रहता है जब तक कि कंक्रीट ठीक नहीं हो जाती, पानी पॉन्डिंग टेस्ट से गुजरता है, या पेंट सूखता है, लेकिन वर्कस्टेशन खुद आइडल हो जाता है। एक आधिकारिक राष्ट्रीय प्रीफैब्रिकेशन गाइडबुक पर आधारित इंस्टेंस पर, ये लैग औसतन इष्टतम संदर्भ मेक्सपैन को लगभग 67% तक बढ़ा देते हैं। निर्णय के समय लैग को अनदेखा करना और फिर व्यवहार्यता के लिए मरम्मत करना, परीक्षण किए गए प्रत्येक डिस्पैचिंग रूल से बदतर प्रदर्शन करता है।

यह तंत्र एक स्टेट-ऑफ-द-आर्ट ड्यूल-अटेंशन डीप आरएल सॉल्वर पर बोल्ट किए गए तीन न्यूनतम इनवेसिव, व्यक्तिगत रूप से एब्लेटेबल एक्सटेंशन है: एक स्वीकार्य इनाम सीमा के साथ लैग-अवेयर डायनामिक्स, दो पूर्वानुमानित लैग फीचर चैनल जो शेष प्रतीक्षा समय को पॉलिसी के अवलोकन में लाते हैं, और लिवनेस-मास्क्ड ऑपरेशन- और स्टेशन-टाइप एम्बेडिंग जो लाइव टास्क को लैग-ब्लॉक्ड से अलग करते हैं। प्रत्येक एक्सटेंशन को अक्षम करने पर, कार्यान्वयन मूल सॉल्वर को बिल्कुल पुन: उत्पन्न करता है, इसलिए लाभ अनुकूलनों को जिम्मेदार ठहराया जा सकता है।

हेल्ड-आउट इंस्टेंस पर, सीखी गई पॉलिसी एक कंस्ट्रेंट-प्रोग्रामिंग संदर्भ के लगभग 4% के भीतर पहुंचती है, प्रत्येक डिस्पैचिंग रूल को हराती है, और एक जेनेटिक-एल्गोरिथम मेटाह्यूरिस्टिक को हराती है, क्षमता प्रतिस्पर्धा के तहत लाभ बढ़ता है। एकल साइज-मिक्स्ड पॉलिसी प्रशिक्षित फैक्ट्री आकारों की सीमा में अग्रणी रहती है। लेखक एक सार्वजनिक, गाइडबुक-आधारित बेंचमार्क जनरेटर भी जारी करते हैं।

बिल्डर-फेसिंग टूलिंग के लिए, कार्य शेड्यूलिंग में टाइम-लैग बाधाएं कैसे प्रवेश करती हैं, इसे औपचारिक रूप देता है और दिखाता है कि बाधा-जागरूक फीचर इंजीनियरिंग एक बड़े वास्तविक दुनिया के अंतराल को कैसे बंद करता है। आगे देखें: क्या बेंचमार्क और अनुकूलित सॉल्वर PPVC से आगे सामान्यीकृत होते हैं, और क्या लेखक साइज-मिक्स्ड पॉलिसी के लिए कोड प्रकाशित करते हैं।

[12:36] JobHop v2 स्केल-अप कैरियर ट्रैजेक्टरी एजेंट्स के लिए रीज़निंग-नियंत्रित एक्सट्रैक्शन को सक्षम बनाता है

शोधकर्ता Iman Johary, Guillaume Bied, और Alexandru C. Mara ने arXiv पेपर 2607.11715 में विस्तृत रूप से JobHop v2 जारी किया है। यह रिलीज़ बड़े पैमाने पर कैरियर ट्रैजेक्टरी डेटासेट में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करती है, जो Flemish Public Employment Service से 440,000 छद्म-नामित, बहुभाषी रेज़्यूमे का उपयोग करके 355,315 उच्च-निष्ठता ट्रैजेक्टरीज़ बनाती है। पिछले संस्करणों या संश्लेषित डेटासेट के विपरीत, JobHop v2 प्रामाणिक फ्री-टेक्स्ट एक्सट्रैक्शन प्रदान करती है जो कठोर रूप से मानकीकृत हैं। इस रिलीज़ को चलाने वाला मुख्य तकनीकी तंत्र रीज़निंग-नियंत्रित बड़े भाषा मॉडल इन्फरेंस पर आधारित पुनर्डिज़ाइन किया गया एक्सट्रैक्शन पाइपलाइन है। यह आर्किटेक्चर एक विशिष्ट रीट्री मैकेनिज़्म शामिल करता है जो 100% JSON पार्स दर की गारंटी देता है, जो असंरचित मानव पूंजी डेटा के लिए स्वचालित इनजेशन इंजन बनाने वाले डेवलपर्स के लिए एक महत्वपूर्ण बेसलाइन है। डेटासेट एजेंट बिल्डर्स के लिए दो प्राथमिक संरचनात्मक एन्हांसमेंट पेश करता है। पहला, यह असंरचित करियर इतिहास को ESCO व्यावसायिक कोड फ्रेमवर्क से मैप करता है और तिमाही-स्तर के अस्थायी रिज़ॉल्यूशन प्रदान करता है, जो एजेंट्स को उच्च सटीकता के साथ करियर प्रगति के बारे में तर्क करने की अनुमति देता है। दूसरा, यह एक सामान्यीकृत पांच-स्तरीय शिक्षा प्राप्ति स्कीमा शामिल करता है। शोधकर्ताओं ने पाइपलाइन का मूल्यांकन तीन पूरक एनोटेशन बेसलाइन के विरुद्ध किया, प्रदर्शित करते हुए कि उनका सर्वश्रेष्ठ एक्सट्रैक्टर इंटर-एनोटेटर एग्रीमेंट सीलिंग से केवल 1.1 से 2.7 प्रतिशत अंक पीछे है। डेवलपर्स के लिए, यह वर्कफोर्स प्लानिंग, जॉब रिकमेंडेशन और लेबर मार्केट एनालिसिस में विशेषज्ञ एजेंट्स को फाइन-ट्यून करने के लिए एक गोल्ड-स्टैंडर्ड डेटासेट प्रदान करता है। शोरगुल वाले, पूर्व-मानकीकृत कोड पर निर्भर रहने के बजाय, बिल्डर्स अब महीन, प्रामाणिक ट्रैजेक्टरी डेटा का लाभ उठा सकते हैं जो वास्तविक दुनिया की जॉब हॉपिंग पैटर्न को प्रतिबिंबित करता है। एनोटेशन समृद्धि का यह स्तर उन एजेंट्स को बनाने के लिए आवश्यक है जो ऐतिहासिक ट्रांज़िशन के आधार पर करियर पिवट्स की भविष्यवाणी कर सकें या स्किल एक्विज़िशन सुझा सकें। देखें कि HR टेक स्टैक में अन्य बहुभाषी असंरचित दस्तावेज़ प्रकारों पर यह रीज़निंग-नियंत्रित एक्सट्रैक्शन पद्धति कैसे लागू होती है, संभवतः आने वाले महीनों में रेज़्यूमे पार्सिंग एजेंट्स को मानव-स्तरीय इंटर-एनोटेटर सीलिंग के विरुद्ध बेंचमार्क कैसे किया जाता है, इसकी मानकीकरण करती है।

[14:23] Amap का ABot-N1 फाउंडेशन मॉडल्स को विज़ुअल लैंग्वेज नेविगेशन में ले जाता है

Amap की CVLab से एक नया फाउंडेशन मॉडल पेपर HuggingFace के डेली फीड में चर्चा में है, और यह embodied AI में सबसे कठिन समस्याओं में से एक को निशाना बनाता है। ABot-N1 विज़ुअल लैंग्वेज नेविगेशन को लक्षित करता है — प्राकृतिक भाषा निर्देशों का उपयोग करके वास्तविक या सिमुलेटेड स्पेस में एक embodied एजेंट को चलाना — और विविध embodied टास्क में ग्राउंडेड स्पैशियल रीज़निंग के लिए एक सामान्य-उद्देशीय फाउंडेशन मॉडल के रूप में प्रस्तावित करता है।

पेपर का केंद्रीय निदान: आज की VLN सिस्टम मोनोलिथिक पॉलिसीज़ पर निर्भर करती हैं जो एकल एंड-टू-एंड पास में सीधे एक्शन के लिए ऑब्ज़र्वेशन मैप करती हैं। वे ब्लैक-बॉक्स पाइपलाइन दो फेलियर मोड प्रस्तुत करती हैं जिनसे समुदाय वर्षों से जूझ रहा है। पहला, कोर्डिनेट ड्रिफ्ट — जैसे-जैसे ट्रैजेक्टरीज़ लंबी होती हैं, एजेंट की आंतरिक स्थिति की भावना खराब होती है, और संचित त्रुटियां कदमों में इतनी बढ़ जाती हैं कि नेविगेशन पूरी तरह ढह जाता है। दूसरा, लॉन्ग-टेल सेमांटिक्स का खराब हैंडलिंग — असामान्य लैंडमार्क, अस्पष्ट संदर्भ और दुर्लभ स्पैशियल फ्रेज़ पॉलिसी को तोड़ देते हैं क्योंकि प्रशिक्षण डेटा सामान्य परिदृश्यों जैसे किचन और हॉलवे की ओर झुका होता है। लेखकों का तर्क है कि इंटरप्रेटेबिलिटी के बिना, मोनोलिथिक VLN पॉलिसी एक साथ सामान्यता, मजबूती और पारदर्शिता प्राप्त नहीं कर सकतीं।

ABot-N1 का घोषित लक्ष्य ग्राउंडेड स्पैशियल निर्णयों के लिए गहन तर्क को विविध embodied टास्क में व्यापक बहुमुखी प्रतिभा के साथ एकजुट करना है — एक एकल बैकबोन जो "बाईं ओर लाल कैनोपी के आगे जाएं" जैसे निर्देशों की व्याख्या कर सके और प्रति-पर्यावरण फाइन-ट्यूनिंग के बिना नए वातावरण में उस क्षमता को ट्रांसफर कर सके। नेविगेशन स्टैक बना रहे रोबोटिक्स और सिमुलेशन टीमों के लिए, वह शेयर्ड-बैकबोन फ्रेमिंग व्यावहारिक हुक है: एक मॉडल, कई सीन्स।

पेपर HuggingFace के डेली फीड पर 71 अपवोट्स पर है, जो कि विज़न-लैंग्वेज सबमिशन के लिए वास्तविक समुदाय सिग्नल है। जारी किए गए मॉडल वेट्स और बेंचमार्क नंबरों के लिए देखें — निदान तीक्ष्ण है, लेकिन सबूत यह होगा कि ABot-N1 वास्तव में लॉन्ग-टेल नेविगेशन टास्क पर अंतर कितना कम करता है। arXiv 2607.10383।

[16:12] शोधकर्ताओं ने ट्रांसफॉर्मर इंडक्टिव रीज़निंग और सर्किट फॉर्मेशन को नियंत्रित करने वाले लो-डायमेंशनल मैनिफोल्ड्स की पहचान की

शोधकर्ताओं Tiberiu Musat, Tiago Pimentel, और Nicholas Zucchet ने arXiv पर पहचानकर्ता 2607.11875 के तहत एक महत्वपूर्ण सैद्धांतिक फ्रेमवर्क प्रकाशित किया है, जो ट्रांसफॉर्मर्स में इंडक्टिव रीज़निंग के उद्भव को लक्षित करता है। "Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks" शीर्षक वाला पेपर विशिष्ट टास्क प्रदर्शन और सामान्य लर्निंग डायनामिक्स के बीच के अंतर को संबोधित करता है। वे एक सामान्यीकृत इंडक्टिव टास्क क्लास पेश करते हैं जो इन-कॉन्टेक्स्ट n-grams और मल्टी-हॉप रीज़निंग जैसे सिंथेटिक बेंचमार्क को एकजुट करता है।

मुख्य तंत्र एक लो-डायमेंशनल इनवेरिएंट मैनिफोल्ड की खोज है जो अटेंशन मॉडल्स की लर्निंग डायनामिक्स को सीमित करती है। लाखों व्यक्तिगत पैरामीटर्स को ट्रैक करने के बजाय, लेखक सिद्ध करते हैं कि प्रशिक्षण को कुछ इंटरप्रेटेबल कोर्डिनेट्स के माध्यम से कैप्चर और विश्लेषण किया जा सकता है। यह गणितीय न्यूनीकरण यह अनुमान देता है कि ट्रांसफॉर्मर्स कैसे सीखते हैं। विशेष रूप से, फ्रेमवर्क डेटा सांख्यिकी के आधार पर इन-कॉन्टेक्स्ट लर्निंग और इन-वेट्स लर्निंग के बीच प्रतिस्पर्धा की विशेषता बताता है। यह औपचारिक स्पष्टीकरण प्रदान करता है कि क्यों कुछ डेटा वितरण मेमोराइज़ेशन की ओर ले जाते हैं जबकि अन्य सामान्यीकृत रीज़निंग को बढ़ावा देते हैं।

अन्य महत्वपूर्ण तंत्र जिसका अन्वेषण किया गया है वह यह है कि यादृच्छिक प्रारंभिक मान किस प्रकार विशिष्ट सर्किट के विकास को प्रभावित करते हैं। जब किसी तर्क कार्य के लिए कई वास्तुशिल्प समाधान उपलब्ध होते हैं, तो प्रारंभिक मान यह निर्धारित करता है कि अनुकूलन प्रक्रिया में कौन सा सर्किट जीतता है। बिल्डर्स के लिए, इसका अर्थ है कि अब हमारे पास एक निदान समन्वय फ्रेम है जो स्वचालित रूप से पता लगा सकता है कि प्रशिक्षित मॉडल में कौन से सर्किट सीखे गए हैं, बिना केवल आउटपुट मूल्यांकन पर निर्भर रहे। अनुभवजन्य अवलोकन से विलंबता-आधारित पहचान की ओर यह बदलाव प्रशिक्षण चरण के दौरान मॉडल क्षमताओं के अधिक सटीक मार्गदर्शन को सक्षम बनाता है। यह समझकर कि invariant manifold कैसे इन गतिशीलता को नियंत्रित करता है, डेवलपर्स डेटा सांख्यिकी को बेहतर ढंग से संरचित कर सकते हैं ताकि संदर्भ-में तर्क भार-आधारित स्मृति से अधिक पसंद किया जाए। लेखक प्रदर्शित करते हैं कि ये निम्न-आयामी समन्वय मानक attention-आधारित वास्तुकला में सैद्धांतिक और अनुभवजन्य दोनों विश्लेषण के लिए व्यवहार्य हैं। स्वचालित मॉडल-मूल्यांकन पाइपलाइनों में इन समन्वय-आधारित निदान उपकरणों के भविष्य के कार्यान्वयन पर ध्यान दें ताकि तैनाती से पहले तर्क सर्किट निर्माण की पुष्टि हो सके।

[18:05] Salesforce पेपर ने Evidence-Backed Video QA को औपचारिक रूप दिया

Salesforce AI Research ने arXiv पर एक पेपर प्रकाशित किया है जो Evidence-Backed Video Question Answering (E-VQA) को औपचारिक रूप देता है, एक ढांचा जहां मॉडल को एक शब्दार्थ उत्तर और इसके पीछे spatio-temporal evidence वापस करना होता है, जिसे समयखंडों के साथ-साथ घने, ट्रैक किए गए ऑब्जेक्ट सेगमेंटेशन masklets के रूप में व्यक्त किया जाता है। लेखक Shijie Wang, Honglu Zhou, और Ziyang Wang का तर्क है कि क्षेत्र Video LLMs का मूल्यांकन केवल उत्तर सटीकता पर कर रहा है, जो छिपाता है कि मॉडल ने वास्तव में सही चीज़ देखी या नहीं। पेपर के साथ दो कलाकृतियाँ आती हैं। पहला ST-Evidence है, जिसे भेदभावपूर्ण और जनरेटिव पिक्सेल-स्तर वीडियो ग्राउंडिंग दोनों के लिए पहला मानव-सत्यापित बेंचमार्क के रूप में वर्णित किया गया है, इसलिए मॉडल को केवल उन्हें वर्णन करने के बजाय अपने उत्तरों को स्थान और समय में स्थानीयकृत करना होता है। दूसरा ST-Evidence-Instruct है, एक 160,000-नमूना प्रशिक्षण सेट जो स्वचालित पाइपलाइनों द्वारा निर्मित है, Video LLMs को आधारित आउटपुट का उत्पादन करने के लिए डिज़ाइन किया गया है। बिल्डर्स के लिए जो मायने रखता है वह परिणाम है, डेटा नहीं। ST-Evidence-Instruct पर आधारित Video LLMs को ठीक करना, 7B मॉडल पर मापा गया t-mean पर 27.2 अंक और J&F पर 13.8 अंक द्वारा आकार-मिलान UniPixel बेसलाइन को हराता है, जो दर्शाता है कि समान पैरामीटर गणना पर लक्षित ग्राउंडिंग डेटा सादे पिक्सेल प्रीट्रेनिंग से बेहतर प्रदर्शन करता है। पेपर एक decoupling भी सामने लाता है: QA सटीकता और सच्ची दृश्य धारणा एक साथ नहीं चलती हैं, और scaling अकेले इस अंतर को पाट नहीं सकती। वीडियो एजेंटों को वास्तविक कार्यप्रवाह में जोड़ने वाले बिल्डर्स के लिए, निहितार्थ सीधा है। यदि आपकी सिस्टम निगरानी फुटेज, उत्पाद डेमो, या रोबोटिक्स टेलीमेट्री के बारे में प्रश्नों के उत्तर देती है, तो पिक्सेल-स्तर साक्ष्य के बिना एक उत्तर एक दायित्व है, और बेंचमार्क अब इसे ग्रेड करने के लिए उपलब्ध है। 160k प्रशिक्षण कोरपस के खुले रिलीज़ पर ध्यान दें और क्या अन्य प्रयोगशालाएं आधारित वीडियो तर्क के लिए मानक के रूप में masklet-प्लस-समय-खंड आउटपुट प्रारूप को अपनाती हैं।

[19:48] MM-ToolSandBox बेंचमार्क Tool-Calling एजेंटों में दृश्य ग्राउंडिंग अंतराल को प्रकट करता है

arXiv 2607.11818 पर Kaixin Ma, Di Feng, और Alexander Metz का एक नया पेपर MM-ToolSandBox पेश करता है, एक बेंचमार्क और मूल्यांकन ढांचा जो उन एजेंटों के लिए है जिन्हें छवियों को पढ़ना और टूल कॉल के साथ उन पर कार्य करना चाहिए। ढांचा 16 अनुप्रयोग डोमेन में 500 से अधिक टूल्स को फैलाता है, एक stateful execution environment प्रदान करता है, जो मल्टी-इमेज, मल्टी-टर्न कार्यों का समर्थन करता है जहां एजेंट धीरे-धीरे आने वाले दृश्य इनपुट को executable calls में बदलते हैं। यह यथार्थवादी बातचीत घटनाओं को भी मॉडल करता है: लक्ष्य संशोधन, त्रुटि सुधार, और स्थिति उत्परिवर्तन जो निरंतर सत्रों के दौरान सामने आते हैं, जो सिंगल-शॉट प्रॉम्प्ट्स की तुलना में वास्तविक उत्पादन एजेंटों के काम करने के तरीके के करीब है। बेंचमार्क सूचना-प्रवाह-निर्देशित योजना और बहु-चरण गुणवत्ता फ़िल्टरिंग का उपयोग करके स्वचालित परिदृश्य पीढ़ी पाइपलाइन के माध्यम से इकट्ठा किया गया था, जिससे 258 मानव-सत्यापित nominal scenarios के साथ-साथ इंटरैक्टिव UI अनुप्रयोगों पर केंद्रित 50 वेरिएंट उत्पन्न हुए। बारह अत्याधुनिक मॉडलों का परीक्षण किया गया था, जो 4B open-weight सिस्टम से लेकर frontier proprietary मॉडलों तक थे, इसलिए पेपर जो अंतराल मापता है वह पूरी क्षमता वक्र को फैलाता है, केवल एक स्तर को नहीं। मुख्य परिणाम निराशाजनक है: सबसे अच्छा प्रदर्शन करने वाला मॉडल भी nominal scenarios पर 50% से कम सफलता दर प्राप्त करता है। विफलता विश्लेषण शीर्षक संख्या से अधिक दिलचस्प है। 53% विफलताएं छवियों से गलत जानकारी निष्कर्षण से उत्पन्न होती हैं, भले ही अंतर्निहित कार्य वर्कफ़्लो अन्यथा सही हो। लेखक इसे planning-to-precision crossover कहते हैं। छोटे मॉडल यह तय करने में विफल होते हैं कि क्या करना है। बड़े मॉडल यह समझने में विफल होते हैं कि वे क्या देख रहे हैं। बिल्डर्स के लिए, इसका अर्थ है कि दृश्य टूल-कॉलिंग में दो अलग-अलग विश्वसनीयता समस्याएं हैं, और केवल एक उनमें model scale के साथ सुधार होता है। यदि आपका एजेंट स्क्रीनशॉट, आरेख, या UI स्थिति को पढ़ता है, तो धारणा को planning से अलग विफलता सतह के रूप में मानें और इसके लिए स्पष्ट रूप से बजट आवंटित करें। precision-side fixes को अलग करने वाले अनुवर्ती कार्यों पर ध्यान दें, चाहे वे उच्च-रिज़ॉल्यूशन इनपुट हों, क्षेत्र-लक्षित प्रॉम्प्ट्स हों, या specialized grounding heads हों।

[21:35] LightMem-Ego: Wearable AI के लिए Streaming Multimodal Memory

arXiv पर एक नया पेपर, LightMem-Ego, इस सप्ताह HuggingFace के दैनिक फ़ीड पर चढ़ रहा है जिसमें 29 समुदाय upvotes हैं, और यह स्पष्ट रूप से wearable AI के लिए अगली बाधा पर लक्षित है: आपके अपने जीवन की दीर्घकालिक स्मृति। सिस्टम मोबाइल और wearable उपकरणों पर चलने वाले व्यक्तिगत सहायकों को लक्षित करता है जो दृश्य और ऑडियो स्ट्रीम के माध्यम से उपयोगकर्ता के दिन को निरंतर समझते हैं — first-person, या egocentric, capture — और मांग पर अतीत के अनुभवों के बारे में प्रश्नों के उत्तर देने की आवश्यकता है, दिनों या सप्ताहों बाद भी।

पेपर में जो समस्या रखी गई है वह बताने में सरल है लेकिन हल करने में कठिन है: पिछले अनुभवों के बारे में प्रश्नों का उत्तर देने के लिए हल्के बहु-प्रारूप स्मृति की आवश्यकता है जो निरंतर जमा, व्यवस्थित और दीर्घकालिक अनुभवों को पुनः प्राप्त कर सके। आज, व्यक्तिगत-सहायक स्टैक या तो पुराने संदर्भ को छोड़ देते हैं जब संदर्भ विंडो भर जाती है, या सब कुछ क्लाउड पर स्थानांतरित कर देते हैं, और कोई भी मार्ग पहनने योग्य फॉर्म फैक्टर के अनुरूप नहीं है जिसे पृष्ठभूमि में, ऑन-डिवाइस चलते रहना होता है। LightMem-Ego एक स्ट्रीमिंग बहु-प्रारूप स्मृति प्रणाली के रूप में स्थित है जो विशेष रूप से दैनिक जीवन सहायता के लिए निर्मित है, जो प्रणाली लगातार egocentric इनपुट को जैसे-जैसे वह आता है कैप्चर करती है और इसे बाद में क्वेरी करने योग्य कुछ बनाती है, उसी डिवाइस पर जिसने रिकॉर्डिंग की थी।

हमेशा-चालू या पहनने योग्य एजेंटों पर काम करने वालों के लिए, निहितार्थ यह है कि स्मृति परत — मॉडल नहीं — वह वास्तविक इंजीनियरिंग सतह है जो आगे बढ़ती है। स्टोरेज, पुनर्प्राप्ति और सारांश सब कुछ ऑन-डिवाइस फिट होना चाहिए, बिना बड़े संदर्भ विंडो के जिस पर निर्भर रहा जा सके, और वही बाधाएं किसी भी मोबाइल साथी ऐप या पहनने योग्य सहायक को शिप करने वाले को प्रभावित करेंगी। लेखकों द्वारा संदर्भ कार्यान्वयन जारी करने, क्लाउड-बैक्ड स्मृति बेसलाइन के विरुद्ध बेंचमार्क नंबरों और किसी भी हार्डवेयर या प्लेटफॉर्म साझेदारी पर नज़र रखें — वे बताएंगे कि यह शोध टॉय है या शिप करने का वास्तविक मार्ग।

[23:21] Requential Coding: LLMs के लिए नया SOTA सामान्यीकरण बाउंड्स

Shikai Qiu, Marc Finzi और Yujia Zheng द्वारा arXiv पेपर 2607.11883 में requential coding प्रस्तुत किया गया है, एक संपीड़न ढांचा जो एक साथ पैरामीटर-आधारित और prequential सीमाओं दोनों से बचने के लिए डिज़ाइन किया गया है। पारंपरिक परिमाणीकरण कोड लंबाई उत्पन्न करता है जो मॉडल आकार के साथ बढ़ती है, इस बात की परवाह किए बिना कि पैरामीटर वास्तव में कितनी जानकारी संग्रहीत करते हैं। Prequential coding एक अलग रास्ता अपनाता है प्रशिक्षण प्रक्षेपवक्र को संपीड़ित करके, लेकिन सटीक डेटा अनुक्रम को एन्कोड करता है चाहे मॉडल ने कितना भी सीखा हो, जिससे उच्च एन्ट्रॉपी डेटा पर बड़े कोड उत्पन्न होते हैं।

Requential coding पूरी सेटअप को बदल देता है। एक शिक्षक मॉडल प्रशिक्षण नमूने चुनता है जो छात्र के अपने वितरण से लिए गए हैं, और छात्र का कोड केवल उन चयनों को रिकॉर्ड करता है। इसलिए छात्र का कोड शिक्षक और छात्र के बीच असहमतियों पर खर्च होता है, इसलिए बिट्स वास्तविक सीखने के अनुरूप हैं, न कि कच्चे पैरामीटर गिनती या डेटा एन्ट्रॉपी के। परिणामी कोड लंबाई पैरामीटर गिनती और डेटा एन्ट्रॉपी दोनों से स्वतंत्र है, और अक्सर prequential समकक्ष से कई गुना छोटी होती है, जब मॉडल बड़े होते हैं तो यह लाभ बढ़ता है।

अनुभवजन्य निष्कर्ष आश्चर्यजनक हैं। लoss को स्थिर रखते हुए, बड़े मॉडल और समुच्चय अधिक पैरामीटर ले जाने के बावजूद बहुत छोटे आकारों में संपीड़ित होते हैं — एक विपरीत परिणाम जो पूर्व संपीड़कों से अदृश्य रहा। जब requential code को PAC-Bayes बाउंड में प्लग किया जाता है, तो यह अरब-पैरामीटर LLMs के लिए अत्याधुनिक सामान्यीकरण गारंटी प्रदान करता है, आक्रामक पोस्ट-ट्रेनिंग परिमाणीकरण पर निर्मित बाउंड्स को मात देता है, भले ही उस परिमाणीकरण को शून्य त्रुटि दी गई हो।

निर्माताओं के लिए, व्यावहारिक निष्कर्ष एक शिपिंग उत्पाद के बजाय माप है। यह ढांचा संपीड़न को पुनः परिभाषित करता है किसी मॉडल ने वास्तव में क्या सीखा है इसकी जांच के रूप में, कच्ची पैरामीटर गिनती या डेटा एन्ट्रॉपी से अलग। आगे खुले-वेट चेकपॉइंट्स पर पुनरुत्पादन और यह देखने के लिए कि क्या reasoning-tuned या RLHF-प्रशिक्षित मॉडलों पर बाउंड और आगे कसता है, इस पर नज़र रखें।

[25:05] AdvancedMathBench Doctoral-Level Mathematical Proof Generation और Verification के लिए नए मूल्यांकन मानक स्थापित करता है

शोधकर्ताओं Lingkai Kong, Zijian Wu और Yuzhe Gu ने arXiv 2607.11849 प्रकाशित किया है, जिसमें AdvancedMathBench प्रस्तुत किया गया है जो मौजूदा गणितीय बेंचमार्क की सीमाओं को संबोधित करता है जो मुख्य रूप से हाई-स्कूल या ओलंपियाड-स्तर की समस्याओं पर केंद्रित हैं। यह नया सुइट स्नातक और डॉक्टरेट क्वालीफाइंग-परीक्षा स्तरों की ओर ध्यान केंद्रित करता है, उन्नत गणितीय तर्क और प्रमाण जनरेशन की अधिक कठिन परीक्षा प्रदान करता है। योगदान का मूल ProverBench है, जिसमें 296 समस्याएं हैं जो जटिल प्रमाणों के जनरेशन का मूल्यांकन करने के लिए डिज़ाइन की गई हैं जहां अंतिम-उत्तर की शुद्धता सफलता के लिए अपर्याप्त मीट्रिक है। इन मूल्यांकनों की विश्वसनीयता सुनिश्चित करने के लिए, लेखकों ने एक समर्पित स्वचालित सत्यापन पाइपलाइन विकसित की। इस पाइपलाइन को बड़े पैमाने पर विशेषज्ञ एनोटेशन पर प्रशिक्षित किया गया था ताकि न केवल सही-गलत निर्णय बल्कि प्रमाण त्रुटियों का विस्तृत मूल्यांकन उत्पन्न हो, पुराने बेंचमार्क की विशिष्ट बाइनरी पास या फेल परिणामों से आगे बढ़ते हुए।

दूसरा घटक, VerifierBench, 888 मॉडल-जनित प्रमाण प्रक्षेपवक्रों से बना है जो विशेषज्ञ ग्राउंड ट्रुथ के साथ जोड़े गए हैं। यह खंड मूल्यांकन करता है कि क्या मॉडल सही ढंग से प्रमाण की वैधता का न्याय कर सकते हैं और अपने निर्णयों के लिए सुदृढ़ तर्क प्रदान कर सकते हैं। अध्ययन के मुख्य परिणाम दर्शाते हैं कि फ्रंटियर मॉडल अभी भी इन उन्नत डोमेन में महत्वपूर्ण बाधाओं का सामना करते हैं। विशेष रूप से, परीक्षण किया गया सबसे अच्छा प्रदर्शन करने वाला मॉडल, GPT-5.5-xhigh, स्नातक या UGD स्प्लिट पर 75.8 का स्कोर प्राप्त करता है, लेकिन डॉक्टरेट क्वालीफाइंग-परीक्षा या QE स्प्लिट पर 66.1 तक गिर जाता है। ये आंकड़े इंगित करते हैं कि प्रतीकात्मक तर्क की जटिलता बढ़ने पर, सबसे सक्षम मॉडल भी तर्क अंतराल दिखाने लगते हैं। निर्माताओं के लिए, यह उन उच्च-दांव तकनीकी वातावरण में एजेंटों का परीक्षण करने के लिए एक ठोस ढांचा प्रदान करता है जहां तार्किक वैधता सर्वोपरि है। अंतिम-उत्तर मिलान से सत्यापन पाइपलाइन में विस्तृत त्रुटि पहचान की ओर इस बदलाव से एजेंटिक सेल्फ-करेक्शन में सुधार के लिए रोडमैप का संकेत मिलता है। डेवलपर्स को यह देखना चाहिए कि इन विशेष सत्यापन डेटासेट का उपयोग तकनीकी ऑडिटिंग कार्यों के लिए विशेष रूप से मॉडल को फाइन-ट्यून करने के लिए कैसे किया जा सकता है। आगे, इन सत्यापन पाइपलाइनों को स्वचालित तर्क लूप में एकीकृत करने की दिशा में देखें।

[27:00] प्रैक्टिकल क्यू

आज की कहानियों से: इसका क्या मतलब है: कोई भी कोडिंग वर्कफ़्लो जो Claude Code और एक Codex-बैक्ड एजेंट के बीच उछलता है, अब एकल attach कॉल के माध्यम से सेशन स्टेट साझा कर सकता है, जिससे टूल्स के बीच मैन्युअल रूप से कॉन्टेक्स्ट कॉपी करने की आवश्यकता समाप्त हो जाती है। यदि आपका एजेंट स्टैक पहले से OpenRouter के माध्यम से रूट करता है, तो आप इस मॉडल को एक कॉन्फ़िगरेशन स्ट्रिंग संपादित करके इंस्टॉल कर सकते हैं, बिना नए auth या SDK के। बिल्डर्स के लिए, यह रोबोट-अज्ञेय विकास की ओर एक कदम का प्रतीक है। प्रति-मेसेज गार्डरैल मल्टी-एजेंट पाइपलाइन में कम्पोज़िशनल हमलों को नहीं पकड़ सकते, क्योंकि स्थानीय सौम्यता वैश्विक सुरक्षा का तात्पर्य नहीं देती। मल्टीलिंगुअल एजेंट्स चलाने वाले बिल्डर्स के लिए, यह टेकअवे है कि दो-चरणीय स्कैफोल्ड — पहले संस्कृति-विशिष्ट सिद्धांत का चयन करना, फिर लक्षित भाषा में तर्क करना — बिना किसी लेबल्ड नैतिक डेटा के मॉडल परिवारों और आकारों में काम करता है। बिल्डर-टूलिंग कार्य के लिए, यह पेपर महत्वपूर्ण है क्योंकि यह औपचारिक रूप देता है कि समय-विलंबता बाधाएँ एजेंटिक प्लानिंग लूप में कैसे प्रवेश करती हैं और एक सार्वजनिक, गाइडबुक-आधारित बेंचमार्क जनरेटर शिप करती है। बिल्डर्स इस डेटासेट का उपयोग प्रामाणिक करियर ट्रांज़िशन और मानकीकृत ESCO मैपिंग पर एजेंट्स को फाइन-ट्यून करने के लिए कर सकते हैं, संश्लेषित या शोरिल्ड डेटा के बजाय। इसका क्या मतलब है: एक एकीकृत-बैकबोन दृष्टिकोण जो प्रति-पर्यावरण फाइन-ट्यूनिंग के बिना दृश्यों में ट्रांसफर होता है, यह बहु-पर्यावरण रोबोट स्टैक के निर्माण के तरीके को बदल देगा, जो ABot-N1 का केंद्रीय दांव है। इसका मतलब है कि बिल्डर्स अनुभवजन्य ट्रायल-एंड-एरर से आगे बढ़ सकते हैं, ये निर्देशांक उपयोग करके पता लगाते हैं कि फाइन-ट्यूनिंग या प्री-ट्रेनिंग के दौरान कौन से रीज़निंग सर्किट वास्तव में बने हैं। फुटेज के बारे में प्रश्नों के जवाब देने वाले वीडियो एजेंट्स के पास अब एक सार्वजनिक बेंचमार्क है जो उत्तर की सहीपन और पिक्सेल-स्तरीय साक्ष्य दोनों को ग्रेड करता है। विज़ुअल टूल-कॉलिंग में अब प्लानिंग विफलताओं और परसेप्शन विफलताओं के बीच एक स्वच्छ अलगाव है, और केवल पहला विश्वसनीय रूप से स्केल के साथ सुधार करता है। हमेशा-चालू या पहनने योग्य एजेंट्स शिप करने वाले बिल्डर्स के लिए, टेकअवे यह है कि मेमोरी लेयर खुद मॉडल से अधिक कठिन इंजीनियरिंग समस्या बन रही है, क्योंकि स्टोरेज, रिट्रीवल और सारांशीकरण डिवाइस पर फिट होने चाहिए और मौजूदा कॉन्टेक्स्ट-विंडो और क्लाउड पैटर्न साफ-साफ ट्रांसफर नहीं होते। यह एक शिपिंग प्रोडक्ट के बजाय शैक्षणिक कार्य है, इसलिए तत्काल मूल्य तैनाती के बजाय माप और संदर्भ है। यह शोध बिल्डर्स को एजेंटिक रीज़निंग का अधिक विस्तृत मूल्यांकन करने का एक बेहतर तरीका प्रदान करता है विशेषज्ञ डोमेन में जहाँ अंतिम-उत्तर की सहीपन एक वैध तार्किक ट्रेस के बिना अपर्याप्त है।