
Claude Opus 5.5 $4 इनपुट, $20 आउटपुट पर उतरता है, GPT-6 Sol और Astra से मिलता है
Claude Opus 5.5 $4 इनपुट और $20 आउटपुट पर उतरता है, जिसमें Fable-class परिणाम मिलते हैं। यह इस एपिसोड में GPT-6 Sol और Astra के साथ सीधे मुकाबले में है। Show notes: https://tobyonfitnesstech.com/hi/podcasts/episode-116/
🎧 Listen to Episodeएपिसोड 116 — 23 सितंबर, 2026
[00:00] एपिसोड हुक
Hermes Agent ने v0.21.4 शिप किया, v2026.9.21 टैग के साथ, 21 सितंबर, 2026 को, जिसमें लगभग 1,800 मर्ज किए गए पुल रिक्वेस्ट और 5,071 नॉन-मर्ज कमिट को 5,169 बदले गए फाइलों में एक पैच रिलीज में रोल किया। Anthropic ने 22 सितंबर को Claude Opus 5.5 रिलीज किया, प्रति मिलियन इनपुट टोकन $4 और प्रति मिलियन आउटपुट टोकन $20 पर, जो अधिकांश बेंचमार्क पर Claude Fable 5.1 जितना अच्छा प्रदर्शन करता है जबकि ऑपरेट करने में 40% सस्ता है। OpenAI ने लगभग डेढ़ घंटे बाद GPT-6 Sol और Luna के साथ अनुसरण किया। SpaceXAI ने भी 21 सितंबर, 2026 को Grok 4.7 शिप किया, Grok 4.6 से बड़े बेस मॉडल पर बना, कॉडिंग और नॉलेज-वर्क सुधारों के साथ समान $2 इनपुट और $6 आउटपुट प्राइसिंग पर। Nokia ने AnyJev ओपन-सोर्स किया, एक Python लाइब्रेरी जो बिना अतिरिक्त ट्रेनिंग के ओपन-सोर्स LLM को कैलिब्रेटेड डिसीजन सिस्टम में बदलती है, जबकि NVIDIA ने Nemotron 3 Diarization रिलीज किया, एक 100-मिलियन-पैरामीटर ओपन-वेट मॉडल जो लाइव तक आठ ओवरलैपिंग स्पीकर को ट्रैक करता है।
[02:00] Agent Stack Release Readout: Hermes Agent v2026.9.21
Hermes Agent ने v0.21.4 शिप किया, v2026.9.21 टैग के साथ, 21 सितंबर, 2026 को। यह Nous Research से एक पैच रिलीज है जो v0.21.3 से लगभग 1,800 मर्ज किए गए पुल रिक्वेस्ट को downstream उपभोक्ताओं के लिए एक स्थिर टैग में रोल करता है जैसे Docker images, Hermes Cloud, और होस्टेड डिप्लॉयमेंट। commit 4b8a8134009a8727a289bcabeb0019fedd353128 पर मापा गया, v0.21.3 के बाद का विंडो 5,169 बदली गई फाइलों में 5,071 नॉन-मर्ज कमिट, 312,961 लाइनें जोड़ी गईं और 62,855 हटाई गईं, 1,812 मर्ज PR और 2,116 बंद इशू के साथ है। इस विंडो में सब कुछ के लिए क्यूरेटेड रिलीज नोट्स v0.22.0 में डिफर किए गए हैं।
विंडो में कई ठोस बदलाव आए। CLI --format stream-json प्राप्त करता है स्ट्रक्चर्ड JSONL आउटपुट के लिए, जिसे downstream टूलिंग सीधे ingest कर सकती है। एक नई mcp.discovery_concurrency सेटिंग पैरलल MCP डिस्कवरी कनेक्शन को कैप करती है, जो कोल्ड स्टार्ट के दौरान ऑपरेटर्स को एक ट्यूनबल नॉब देती है। skills.auto_load अब चुनिंदा स्किल्स को हर नए सेशन प्रॉम्प्ट में पिन करता है, ताकि उपलब्ध स्किल्स का सेट सेशन में सुसंगत रहे बिना पुनः-invocation के। होस्ट-वाइड गेटवे सिंगलटन लॉक रेंडेज़वस रिकॉर्ड के साथ का मतलब है कि Desktop क्लाइंट अब रनिंग होस्ट बैकएंड से जुड़ता है बजाय दूसरा स्पॉन करने के, और एक बैकएंड-स्वामित्व कनेक्टर ऑपरेशन Desktop, TUI, और CLI पर सेटअप कार्ड के रूप में दिखाई देता है।
अन्य जोड़ों में गेटवे के लिए decline unauthorized-DM व्यवहार, session_search after और before बाउंड के साथ OR-relaxed recall retry, और hermes sessions set-journal-mode कमांड शामिल हैं। Desktop चैट और UI फॉन्ट पिकर, वन-क्लिक लोकल इंजन अपडेट, और Plugins हब से प्लगइन अनइंस्टॉल प्राप्त करता है। वीडियो कैटलॉग में LTX 2.5 और Kling O3 जुड़ गए, और वेबसाइट पर अब हर कैटलॉग प्लगइन और ऑथर का एक पेज है जिसमें pinned-commit README और जोड़ी या अपडेट की गई सॉर्टिंग है। कैटलॉग में लगभग दर्जन भर कम्युनिटी प्लगइन शामिल हुए, जिसमें tailscale, ssh, shodan, terminal, rss, resetwatch, done-bell, kiwi, cognee, और octen शामिल हैं।
अपडेट करने के लिए, git इंस्टॉल hermes update चलाते हैं, और Docker या Hermes Cloud उपयोगकर्ता nousresearch/hermes-agent:v2026.9.21 से pull करते हैं।
[03:10] Claude Opus 5.5 $4 इन, $20 आउट पर Fable-क्लास परिणाम देता है
Anthropic ने 22 सितंबर को Claude Opus 5.5 शिप किया, Claude 5.5 परिवार का पहला मॉडल, जिसमें Sonnet 5.5 और Haiku 5.5 सप्ताहों में आने हैं। मुख्य दावा: Opus 5.5 अधिकांश काम पर Claude Fable 5.1 जितना अच्छा प्रदर्शन करता है जबकि कम लागत पर चलता है। प्राइसिंग उस बदलाव को प्रतिबिंबित करती है। इनपुट टोकन $4 प्रति मिलियन की लागत versus Opus 5 के $5, आउटपुट टोकन $20 versus $25, और cached reads 60% सस्ते हैं जो $0.20 हैं। डिफ़ॉल्ट सेटिंग्स पर, विशिष्ट वर्कलोड की कुल लागत 40% कम है। आउटपुट Opus 5 से 30% से अधिक तेज़ी से जनरेट करता है। मॉडल में 1,000,000 टोकन का कॉन्टेक्स्ट विंडो है और 128,000 आउटपुट टोकन तक का समर्थन करता है, जो टेक्स्ट, इमेज और फाइल इनपुट को हैंडल करता है। यह Claude Platform, AWS, Google Cloud, Microsoft Azure, और GitHub Copilot पर उपलब्ध है, विकल्प के रूप में शून्य डेटा रिटेंशन के साथ।
द किंग मॉडल अब अनिवार्य है। उपयोगकर्ता प्रयास स्तर—कम, मध्यम, उच्च, एक्सहाई, या अधिकतम—में से चुन सकते हैं, लेकिन सोचने को पूरी तरह से बंद नहीं कर सकते। अधिकतम प्रयास अनुकूली सोच को अनलॉक करता है, जो अंतिम आउटपुट से पहले अधिक आंतरिक तर्क चरण उत्पन्न करता है। Claude Code और Claude Platform में फास्ट मोड प्रति मिलियन टोकन $8 इनपुट और $40 आउटपुट पर 2.5 गुना तेज चलता है, जो गति के बदले लागत का व्यापार करता है।
Anthropic ने Opus 5.5, Fable 5.1, और Opus 5 को अधिकतम प्रयास पर अनुकूली सोच के साथ तुलना करने वाले बेंचमार्क परिणाम प्रकाशित किए। Terminal-Bench 4.0 पर, Opus 5.5 ने 52.3% के मुकाबले 66.4% स्कोर किया। AutomationBench पर, अंतर 26.9% के मुकाबले 40.0% तक बढ़ गया। OSWorld 2.0 आंशिक पर, Opus 5.5 ने 74.0% के मुकाबले 81.8% पर पहुंचा। GDPval-AA v2.1 Elo ने Opus 5.5 को 1846 पर रखा बनाम Opus 5 का 1708। Anthropic ने ग्राहकों के आंतरिक परीक्षण परिणाम भी साझा किए। Stripe ने मॉडल के माध्यम से 40 स्टैक्ड पुल रिक्वेस्ट चलाए और सभी CI पास हुए। Box ने पिछली रन की तुलना में एक तिहाई टोकन का उपयोग किया जिसमें 40% कम वर्बोज आउटपुट था। Deloitte ने कम प्रयास पर 56% की तुलना में 72% रोपे गए बग पकड़े। Hebbia ने एक शोध कार्य पर 60.3% के मुकाबले 86.6% रूब्रिक कवरेज हासिल किया।
METR और Frontier Design द्वारा रिलीज से पहले सुरक्षा परीक्षण से पता चला कि लगभग 2,000 परिदृश्यों के स्वचालित व्यवहार ऑडिट पर Opus 5.5 ने अब तक का Anthropic का सर्वश्रेष्ठ स्कोर पोस्ट किया और Opus 5 की तुलना में संदूक सीमाओं को पार करने का प्रयास लगभग 85% कम बार किया। Anthropic नोट करता है कि मॉडल अक्सर संदेह करता है कि उसका मूल्यांकन किया जा रहा है, जो उस आंकड़े पर विश्वास को सीमित करता है। साइबर कार्य सुरक्षा उपायों के तहत Opus 4.8 पर रूट होते हैं, और Anthropic ने सत्यापित संगठनों के लिए साइबर सत्यापन कार्यक्रम और जीवन विज्ञान सत्यापन कार्यक्रम खोला है। पांच घंटे की उपयोग सीमाएं Pro, Max, Team, और सीट-आधारित Enterprise योजनाओं के लिए बढ़ रही हैं। आउटपुट EU AI Act अनुपालन के लिए टेक्स्ट वॉटरमार्किंग ले जाता है, और 31 अगस्त, 2026 या उसके बाद बनाए गए API खातों पर Fable 5.1 और Opus 5.5 के लिए संरक्षित सोच लागू होती है।
[05:58] सिर-से-सिर: GPT-6 Sol और GPT-6 Astra बनाम Anthropic का नया फ्लैगशिप
Anthropic ने 22 सितंबर, 2026 को Claude Opus 5.5 शिप किया। OpenAI ने लगभग 90 मिनट बाद GPT-6 Sol और Luna के साथ जवाब दिया, हालांकि Astra अभी भी OpenAI का टॉप-टियर फ्लैगशिप है। मूल्य निर्धारण तस्वीर अब ठोस है। Opus 5.5 प्रति मिलियन इनपुट टोकन $4 और प्रति मिलियन आउटपुट $20 पर सूचीबद्ध है। Astra $10 और $50 पर है। Sol $2 और $10 पर आता है, और Luna एक प्रतिशत के अंश पर। बेंचमार्क पर Anthropic द्वारा लॉन्च के साथ प्रकाशित, Opus 5.5 अपने डिफ़ॉल्ट मध्यम प्रयास पर Astra के Terminal-Bench स्कोर से बंधा है, लगभग पांचवें हिस्से की लागत पर FrontierCode पर Astra के सर्वश्रेष्ठ को हराता है, और टूल्स के साथ Humanity's Last Exam पर अग्रणी है। Astra वैज्ञानिक-केंद्रित और ऑटोमेशन बेंचमार्क पर बढ़त रखता है। तीनों मॉडल 128,000-टोकन अधिकतम आउटपुट, टेक्स्ट-और-इमेज-और-फाइल इनपुट, और एक मिलियन टोकन के करीब संदर्भ विंडो साझा करते हैं। OpenAI ने Sol को Astra की तुलना में काफी कम लागत पर Astra के विकल्प के रूप में कोडिंग और पेशेवर कार्य के लिए पositioned किया, यह दावा करते हुए कि यह FrontierCode पर Claude Fable 5.1 प्रदर्शन से मेल खाता है और एक अंश कीमत पर Astra-स्तर की तथ्यात्मक सटीकता प्राप्त करता है। Luna, सबसे तेज़ और सस्ता टियर, मध्यम प्रयास पर Opus 5 के बराबर 93% कम प्रति कार्य पर स्कोर करता है, जो उच्च-मात्रा स्वचालित वर्कफ़्लो को लक्षित करता है। Simon Willison का मानना है कि प्रीमियम टॉप टियर अब Astra और Claude Fable 5.1 के बीच दो-घोड़ों की दौड़ है, जबकि असली मूल्य युद्ध उससे नीचे हो रहा है, जहां Opus 5.5, Sol, और Grok 4.7 लागत-जागरूक बिल्डर्स के लिए प्रतिस्पर्धा कर रहे हैं।
[07:23] Grok 4.7 लैंड्स: बड़ा मॉडल, वही $2/$6 मूल्य
SpaceXAI ने 21 सितंबर, 2026 को Grok 4.7 जारी किया, इसे कंपनी का कोडिंग और ज्ञान कार्य के लिए सबसे सक्षम मॉडल के रूप में मार्केट करते हुए। मोहोका मूल्य टैग है: यह Grok 4.6 के समान प्रति मिलियन इनपुट टोकन $2 और प्रति मिलियन आउटपुट टोकन $6 पर आता है, समान सर्विंग स्पीड के साथ, और एक वैकल्पिक फास्ट वेरिएंट जो दोगुनी कीमत पर आउटपुट स्पीड को दोगुना करता है।
अंदरूनी तौर पर यह Grok 4.6 से बड़ा बेस मॉडल है, जिसे उन समस्याओं की ओर भारित लंबे रेनफोर्समेंट लर्निंग रन पर प्रशिक्षित किया गया है जिन्हें पूरा होने में कई घंटे लगते हैं। वह अतिरिक्त प्रशिक्षण बेहतर सेल्फ-वेरिफिकेशन, लंबे-संदर्भ हैंडलिंग, और एक नए इंस्ट्रक्शन लेयर में दिखाई देता है जो बातचीत और सामान्य ज्ञान कार्यों के लिए Grok Bot हार्नेस को मूल रूप से समझता है। SpaceXAI ने सुरक्षा स्टैक को भी पुनर्निर्मित किया, यह दावा करते हुए कि Grok 4.7 रिफ्यूज़ल और जेलब्रेक प्रतिरोध पर उनके परीक्षण का सबसे मजबूत मॉडल है। LatchBio के बायोसेफ्टी बेंचमार्क पर यह 62.4% पोस्ट करता है, और HackerBench v0.3 पर यह केवल 3.3% जोखिम भरे ड्यूल-यूज़ प्रॉम्प्ट को गुज़रने देता है जबकि शायद ही कभी वैध सुरक्षा कार्य को ब्लॉक करता है।
बेंचमार्क पर, Grok 4.7 CursorBench 4.0 मूल्य-प्रदर्शन की सीमा पर है, DeepSWE v1.1 पर हाई-प्रयास स्कोर के साथ, और Fable 5.1 और GPT-6 Astra के खिलाफ GDPval, AA Briefcase v1.1, और EEBench पर तुलनीय अंक। दस्तावेज़ और प्रस्तुति निर्माण Grok 4.6 में सुधार हुआ, और SpaceXAI कहता है कि चुनिंदा साइबर सुरक्षा भागीदारों के पास अब रक्षात्मक शोध के लिए अपनी रेड-टीम क्षमताओं तक इनवाइट-ओनली एक्सेस है।
यह आज Cursor, Grok Build, Grok API, तृतीय-पक्ष कोडिंग हार्नेस, और कई मॉडल राउटर और क्लाउड प्लेटफॉर्म पर लाइव है। जो कोई पहले से ही अपने प्रोडक्शन पाइपलाइन में Grok 4.6 चला रहा है, उसके लिए अपग्रेड API स्तर पर प्रभावी रूप से मुफ्त है—मॉडल स्ट्रिंग बदलें और आपको उसी बिल पर बड़ा दिमाग मिलता है।
[09:09] Nokia Open-Sources AnyJev: No-Training Layer Makes Open LLMs Reliable Decision-Makers
Nokia की एप्लाइड रिसर्च टीम ने AnyJev जारी किया है, एक Python लाइब्रेरी जो किसी भी खुले भाषा मॉडल को बिना प्रशिक्षण के कैलिब्रेटेड निर्णय मॉडल में बदल देती है। यह टूल एक सामान्य प्रोडक्शन जरूरत को पूरा करता है: मुक्त-रूप टेक्स्ट जेनरेट करने के बजाय निश्चित सेट में से एक जवाब चुनना। यह Apache-2.0 के तहत PyPI से इंस्टॉल होती है और इसमें transformers और vLLM backends हैं जिनमें कुशल सर्विंग के लिए shared-prefix scoring है।
टीम जिस समस्या को संबोधित करती है वह यह है कि भाषा मॉडल से सीधे प्रायिकताएं पढ़ने से दो निरंतर त्रुटियां होती हैं। पहली, मॉडल इनपुट की परवाह किए बिना कुछ लेबल को प्राथमिकता देते हैं—जिसे टीम prior bias कहती है, जैसे "No" के बजाय "Yes" को प्राथमिकता देना। दूसरी, मॉडल विकल्प सूची में स्थितियों को प्राथमिकता देते हैं, इसलिए क्रम बदलने से जवाब बदल जाता है। दोनों खामियां naive प्रायिकता पढ़ना वास्तविक सिस्टम के लिए अविश्वसनीय बनाती हैं।
AnyJev दो सुधार लागू करती है। L0 cyclic shifts का उपयोग करता है: K विकल्पों वाले प्रश्न के लिए, यह सूची को K अलग-अलग rotations में दिखाता है, ताकि हर विकल्प हर स्थिति में एक बार दिखे। यह परिणामों का औसत ज्यामितीय माध्य के रूप में लॉग स्पेस में लेता है, जो सटीक रूप से स्थिति पूर्वाग्रह को दूर करता है यदि वह logit space में additive है। L0 वास्तविक इनपुट पर predicted distributions का एक running mean रखता है और 8 आइटम देखने के बाद 0.75 की शक्ति पर इसे विभाजित करता है, prior bias को सुधारता है। L1 ऊपर temperature scaling जोड़ता है, जिसके लिए प्रश्न प्रकार के हर 100 से 500 labeled उदाहरणों की आवश्यकता होती है। यह विश्वास स्कोर को फिर से आकार देता है बिना यह बदले कि कौन सा उत्तर पहले स्थान पर आता है।
BANKING77 benchmark—300 टेस्ट आइटम के साथ 20-way classification टास्क—के खिलाफ परीक्षण किए गए Qwen3-8B पर, जब विकल्पों को पुनर्व्यवस्थित किया गया तो raw logits ने 23% समय जवाब बदल दिए। AnyJev L0 ने इसे 7.3% तक कम कर दिया, और L1 ने इसे 7.7% पर रखा। सटीकता 74.7% से 80.7% तक सुधरी। अधिक व्यावहारिक रूप से, 5% त्रुटि थ्रेशोल्ड पर स्वचालित रूप से तय की जा सकने वाली क्वेरी का अंश 7.7% से 52% तक बढ़ गया, जिसका अर्थ है कि आधे से अधिक निर्णयों को मनुष्य के पास भेजने के बजाय विश्वास के साथ रूट किया जा सकता था।
टीम ने Qwen, OLMo, Granite, Phi, और Mistral मॉडलों पर दृष्टिकोण का परीक्षण किया, L0 ने सभी नौ मॉडल और टास्क संयोजनों में क्रम पलटाव को कम किया। Typed-decisions डेटासेट पर, L1 के साथ Qwen3-32B ने 0.036 का कैलिब्रेशन त्रुटि हासिल की, जबकि Jev, जिस व्यावसायिक निर्णय मॉडल की वह नकल करता है, उसके लिए 0.144 की सूचना दी गई थी।
सर्विंग के लिए, डेवलपर्स prefix caching के साथ vLLM को hosted मॉडल पर इंगित करते हैं और AnyJev में VLLMBackend कॉन्फ़िगर करते हैं। टीम एकल H100 पर K बराबर 20 के साथ batch 32 पर निर्णय के लिए लगभग 0.25 सेकंड का अनुमान लगाती है। लाइब्रेरी अब PyPI पर उपलब्ध है।
[11:40] NVIDIA का Nemotron 3 Diarization आठ ओवरलैपिंग स्पीकर को लाइव ट्रैक करता है
NVIDIA ने Nemotron 3 Diarization जारी किया है, एक 100-मिलियन-पैरामीटर open-weight मॉडल जो किसी भी बातचीत के बारे में एक धोखे से सरल सवाल का जवाब देता है: कब किसने बोला। स्वचालित वाक् पहचान आपको शब्द देती है, लेकिन बिना attribution के एक सारांशकार यह नहीं बता सकता कि किसने प्रतिबद्धता दी या किसने आपत्ति उठाई। Diarization उस अंतर को भरता है।
मॉडल आठ स्पीकर तक को ट्रैक करता है और एक ही checkpoint में ओवरलैपिंग आवाज़ों को संभालता है। NVIDIA का पहले का Streaming Sortformer चार पर सीमित था। इनपुट 16 kHz, wav, flac, opus, या mp3 फॉर्मेट में सिंगल-चैनल ऑडियो हैं। 10 ms स्टेप के साथ एक mel-spectrogram को 80 ms encoder frames बनाने के लिए आठ के कारक से stacked किया जाता है, जो rotary positional embeddings के साथ 31-layer Transformer को feed करते हैं। एक आयामी convolution लेयर speaker activity को वापस 10 ms पर upsamples करती है, एक आठ-चैनल tensor बनाती है जहां एक बार में दो आवाज़ें दो चैनलों को प्रकाशित करती हैं।
स्पीकर आगमन समय के अनुसार क्रम में होते हैं, इसलिए पहली नई आवाज़ चैनल वन पर लेती है और स्ट्रीमिंग चंक्स में वहीं रहती है। स्थिरता बनाए रखने के लिए दो मेमोरी मैकेनिज़्म हैं: एक अराइवल-ऑर्डर स्पीकर कैश plus a first-in-first-out queue।
Voice Arena के प्रारंभिक Diarization-Bench पर, जो लगभग 22 घंटे की कुल अवधि के 139 अंग्रेज़ी बातचीत में diarization error rate मापता है, मॉडल ने 14.72% हिट किया बनाम अगले-रैंक्ड सिस्टम के लिए 19.3%, जो लगभग 24% सापेक्ष कमी है। 1.04 s latency पर चार-स्पीकर बेसलाइन के विरुद्ध, औसत सापेक्ष त्रुटि आठ स्थितियों में 41% गिर गई, जिसमें NOTSOFAR1 MHM पर 65% गिरावट। 30.4 s पर Throughput ने एक NVIDIA RTX PRO 5000 पर 15,113x real-time हिट किया।
Weights OpenMDW 1.1 license के तहत व्यावसायिक उपयोग के लिए जारी किए गए हैं। Production paths में Baseten और DigitalOcean शामिल हैं, जिसमें Argmax Pro SDK 3 के माध्यम से on-device mobile शामिल है।
[13:21] OpenAI ने यूक्रेन तक Daybreak साइबर एक्सेस का विस्तार किया
OpenAI ने 23 सितंबर, 2026 को घोषणा की कि वह अपने Daybreak program का विस्तार Ukraine की सरकार तक कर रहा है। कार्यक्रम नागरिक अवसंरचना की साइबर रक्षा का समर्थन करता है, OpenAI News के अनुसार।
विस्तार OpenAI के टूलिंग को यूक्रेनियन नागरिक प्रणालियों को साइबर खतरों से बचाने वाले रक्षात्मक स्टैक के अंदर रखता है। Daybreak एक्सेस एक राष्ट्रीय सरकार के लिए खोलकर, OpenAI नागरिक अवसंरचना को उस श्रेणी के रूप में मान रहा है जो सीधे विक्रेता समर्थन की मांग करती है, intermediaries या तृतीय-पक्ष साझेदारियों के माध्यम से उस समर्थन को रूट करने के बजाय।
Daybreak को OpenAI का कार्यक्रम के रूप में प्रस्तुत किया गया है जो नागरिक-उन्मुख प्रणालियों पर साइबर रक्षा कार्य के लिए है, और यूक्रेन उस कार्यक्रम के तहत विस्तारित एक्सेस का प्रत्यक्ष सरकारी प्राप्तकर्ता बन जाता है।
यह व्यवहार में क्या बदलता है: कोई भी संगठन जो critical-infrastructure रक्षा उपकरण बना रहा है, अब एक और डेटा पॉइंट देख सकता है जो दर्शाता है कि प्रमुख मॉडल विक्रेता नागरिक साइबर कार्य के लिए सीधी सरकारी एक्सेस कार्यक्रम शिप करने को तैयार हैं, न कि केवल शोध साझेदारियां या सलाहकार engagement। Adjacent tooling पर काम करने वाले builders के लिए — threat-intel pipelines, anomaly detection, automated triage, या incident-response copilots — यह पुष्टि करता है कि नागरिक-रक्षा खरीदार वास्तविक, सक्रिय है, और सीधे विक्रेता संबंध प्राप्त कर रहा है।
प्राथमिक स्रोत OpenAI का newsroom post है जिसकी तारीख 2026-09-23 है, जो 13:00 UTC पर प्रकाशित हुआ।
[14:32] Research digest: लंबे कार्यों पर agent 'taste' के लिए एक benchmark
TasteBench नाम का एक शोध प्रोजेक्ट AI एजेंटों के बारे में एक नया सवाल पूछ रहा है जो लंबे कामों पर काम करते हैं: वे जो निर्णय लेते हैं वे रास्ते में कितने अच्छे हैं, सिर्फ यह नहीं कि रन सफलता में समाप्त होता है या नहीं? यह पेपर, जो वर्तमान में HuggingFace के डेली फीड पर ट्रेंड कर रहा है, "taste" शब्द उधार लेता है ताकि एजेंट की उस क्षमता का वर्णन किया जा सके जो सही अगला कदम चुनने में सक्षम है — कौन सी परिकल्पना को आगे बढ़ाना है, किस कार्यान्वयन पर निर्माण करना है — एक ऐसे कार्य के भीतर जो घंटों के काम में फैला हुआ है। मौजूदा बेंचमार्क अंतिम उत्तर को ग्रेड करते हैं। यह उन शाखा निर्णयों पर ध्यान केंद्रित करता है। लेखकों का तर्क है कि सॉफ्टवेयर इंजीनियरिंग और शोध वर्कफ़्लो के लिए, वे मध्य-रन विकल्प ही वास्तव में परिणाम तय करते हैं। एक बेंचमार्क जो उन्हें अलग करता है, टीमों को उस आयाम पर एजेंटों की तुलना करने की अनुमति दे सकता है जिस पर उन्हें अभी अनुमान लगाना पड़ता है। देखने योग्य: क्या अन्य लैब्स इसे अपनाते हैं, या लंबे चलने वाले काम के लिए निर्णय-गुणवत्ता का अपना संस्करण बनाते हैं।
[15:29] शोध डाइजेस्ट: GameHorizon ने AI एजेंटों को 5,000 घंटे की AAA गेमप्ले से गुज़ारा
एक टीम ने GameHorizon जारी किया है, एक बेंचमार्क और डेटासेट जो AI एजेंटों को 21 AAA वीडियो गेम में 5,000 घंटे की रिकॉर्ड की गई प्ले के माध्यम से ले जाता है — जिसमें Valorant, Minecraft, Grand Theft Auto V, Palworld, और Elden Ring शामिल हैं। सौ अनुभवी मानव खिलाड़ियों ने रिकॉर्डिंग को संचालित किया, और हर क्रिया टाइमस्टैम्प की गई है और तीन-स्तरीय भाषा निर्देशों के पिरामिड के साथ लेबल की गई है: आदिम क्रियाएं, छोटी-क्षितिज संचालन, और लंबे लक्ष्य और रणनीतियां।
यह बिंदु परीक्षण करना है कि क्या मॉडल समय के क्षितिजों में योजना बना सकते हैं — अगला मुख्य प्रेस, अगला उप-उद्देश्य, और एक बहु-चरणीय रणनीति का पता लगा सकते हैं — बिना अस्थिर लाइव गेमप्ले पर निर्भर हुए। बेंचमार्क 5,000 ऑफ़लाइन बहु-विकल्प प्रश्नों और 20 चरणबद्ध ऑनलाइन कार्यों के साथ आता है जो 62 उप-कार्यों में विभाजित हैं, ताकि मूल्यांकक सटीक रूप से पहचान सकें कि एक मॉडल कहाँ विफल होता है।
टीम ने 47 मॉडलों का परीक्षण किया जो विज़न-लैंग्वेज, GUI, कोडिंग, और गेम-एजेंट परिवारों में फैले हुए हैं। GameHorizon पहला बड़े पैमाने का AAA-केंद्रित डेटासेट है जो एक ही जगह पर मानव-रिकॉर्ड किए गए कार्यों, घने निर्देशों, और पुनरुत्पादनीय ऑफ़लाइन मूल्यांकन को जोड़ता है।
[16:29] NVIDIA ने AI एजेंट सुरक्षा को इंजीनियरिंग डिसिप्लिन के रूप में प्रस्तुत किया
NVIDIA ने 21 सितंबर को एक ब्लॉग प्रकाशित किया जिसमें तर्क दिया गया कि AI एजेंटों को सुरक्षित करना एक शोध समस्या नहीं है, यह एक इंजीनियरिंग समस्या है। पोस्ट तर्क देती है कि रक्षाएं तभी गिनी जाती हैं जब वे परिभाषित आवश्यकताओं, लागू करने योग्य नियंत्रणों, एक नामित मालिक, और प्रलेखित साक्ष्य के साथ आती हैं कि नियंत्रण वास्तव में काम करते हैं।
ब्लॉग के अनुसार, एजेंट स्टैक तीन परतों में विभाजित है: मॉडल क्षमताएं प्रदान करते हैं, हार्नेसेस संदर्भ, उपकरणों और वर्कफ़्लो को व्यवस्थित करते हैं, और रनटाइम वातावरण बुनियादी ढांचा प्रदान करते हैं जहां क्रियाएं निष्पादित होती हैं। प्रत्येक परत के अपने स्वयं के सुरक्षा जिम्मेदारियां हैं, और सुरक्षा को तीनों पर तब तक बनाए रखना होगा जब तक कि डेटा और निर्देश सिस्टम के माध्यम से चलते हैं।
जिस ठोस उदाहरण पर पोस्ट चलती है: एक एजेंट से ग्राहक रिकॉर्ड अपडेट करने के लिए कहा जाता है, एक संलग्न दस्तावेज़ में दुर्भावनापूर्ण निर्देशों का सामना करता है, और बाहरी गंतव्य पर डेटा निर्यात करने का प्रयास करता है। एक नेटवर्क पॉलिसी आउटबाउंड ट्रांसफर को अवरुद्ध करती है। सुरक्षित लॉग प्रयास किए गए टूल कॉल, प्राधिकरण निर्णय, और यह कहाँ जा रहा था, कैप्चर करते हैं। एजेंट के पास रिकॉर्ड अपडेट करने की अनुमति है लेकिन इसे निर्यात करने की नहीं, और यह स्वयं को उस अतिरिक्त पहुंच का अधिकार नहीं दे सकता।
NVIDIA अपने स्वयं के ओपन-सोर्स OpenShell रनटाइम को एक लागू करने योग्य सीमा के रूप में इंगित करता है — एक सैंडबॉक्स्ड एक्जीक्यूशन एनवायरनमेंट जो एजेंट की रीज़निंग के बाहर फ़ाइल, नेटवर्क, और प्रोसेस सीमाओं को लागू करता है। Cisco का DefenseClaw शीर्ष पर गवर्नेंस जोड़ता है, और JFrog एजेंट स्किल्स को चलाने की अनुमति देने से पहले उन्हें स्कैन और सत्यापित करने के लिए एकीकरण करता है।
साक्ष्य के लिए, पोस्ट ऐसे परीक्षण की मांग करती है जो क्रेडेंशियल एस्केलेशन प्रयासों और अनधिकृत डेटा ट्रांसफर को ब्लॉक करता है, किसी भी सार्थक मॉडल या टूल परिवर्तन के बाद दोहराया जाता है, जिस पर एक नामित मालिक तैयारी को साइन ऑफ करता है। यह CrowdStrike के SafeMind को बार-बार हमला सिमुलेशन के लिए, Palo Alto Networks के Prisma AIRS को निरंतर रेड टीमिंग के लिए, Capital One के VulnHunter को AI-सहायता प्राप्त कोड समीक्षा के लिए, और ReversingLabs के Spectra Assure को सॉफ्टवेयर डिपेंडेंसी में मैलवेयर पकड़ने के लिए हाइलाइट करता है।
समापन संदेश खुले तौर पर साझा किया गया है: घटना के बाद के निष्कर्षों को दोहराने योग्य परीक्षणों में बदलना चाहिए, और व्यापक Open Secure AI Alliance सुरक्षा समुदाय में जो काम करता है उसे प्रसारित करने के लिए है।
[18:30] Thinking Machines Lab $65M के समझौते के तहत Crusoe Cloud पर ओपन-मॉडल इंफरेंस को स्थानांतरित करता है
Thinking Machines Lab ने Crusoe Cloud पर अपने ओपन मॉडल के लिए इंफरेंस चलाने के लिए $65 मिलियन का वार्षिक समझौता किया है, कंपनियों ने 23 सितंबर को कहा। यह व्यवस्था Crusoe Managed Inference के माध्यम से प्रोडक्शन ट्रैफिक को रूट करती है, एक सेवा परत जिसे कंपनी थ्रूपुट, कीमत-प्रदर्शन, और विश्वसनीयता के आसपास पोजिशन करती है, कच्ची ट्रेनिंग हॉर्सपावर के बजाय।
बिल्डर्स के लिए, व्यावहारिक सवाल यह है कि API पर क्या बदलता है। मॉडल वेट और व्यवहार अपरिवर्तित हैं — Thinking Machines Lab के ओपन मॉडल ओपन रहते हैं। जो बदलता है वह उनके नीचे की सर्विंग स्टैक है, जो वह टुकड़ा है जो विलंबता, अपटाइम, और प्रति-टोकन लागत निर्धारित करता है। Crusoe Managed Inference को ट्यूनड एनवायरनमेंट के रूप में बेच रहा है न कि बेयर-मेटल एक्सेस के रूप में, इसलिए लैब क्षमता योजना को सौंप देता है बदले में एक प्रबंधित समझौते के लिए।
यह सौदा यह संकेत भी देता है कि गंभीर ओपन-मॉडल सर्विंग कहां कंसोलिडेट हो रही है। Crusoe ने खुद को AI वर्कलोड के लिए बनी एक नियोक्लाउड के रूप में पिच किया है, और एक प्रमुख AI लैब से कई वर्षों की, आठ-अंकों की वार्षिक प्रतिबद्धता हासिल करना अगले खरीदार मूल्यांकन दौर को आकार देने वाला प्रकार का रेफरेंस ग्राहक है। घोषणा थ्रूपुट और विश्वसनीयता को हेडलाइन जीत के रूप में फ्रेम करती है, जिसमें कीमत-प्रदर्शन तीसरा पैर — यह जानबूझकर हाइपरस्केलर्स के अपने इंफरेंस टियर्स को मार्केट करने के तरीके की प्रतिध्वनि है।
एक बात पर नजर रखने योग्य है कि यह उन डेवलपर्स के लिए क्या मायने रखता है जो पहले से ही Thinking Machines Lab मॉडल कहीं और चला रहे हैं। यदि आप वर्तमान ग्राहक हैं, तो समान मॉडल सतह की उम्मीद करें लेकिन एंडपॉइंट्स के पीछे एक अलग प्रदाता, जो ट्रैफिक शिफ्ट होने पर फिर से बेंचमार्क करने योग्य है। बड़ा सवाल यह है कि क्या Crusoe इस एक एंकर ग्राहक को ओपन-मॉडल लैब्स के लिए अपना इंफरेंस इन-हाउस चलाने के बजाय आउटसोर्स करने के व्यापक पैटर्न में बदल सकता है।
[20:11] Jev टेक्स्ट के बजाय संभावनाएं लौटाता है, कीमत पर GPT-5 Nano को पीछे छोड़ देता है
TypeSafe AI ने इस महीने की शुरुआत में Jev का खुलासा किया, और यह अधिकांश लोगों की आदत के अलग प्रकार का मॉडल है। कंपनी इन्हें "System One" मॉडल कहती है; Simon Willison और Maggie Appleton दोनों "डिसीज़न मॉडल" शब्द को पसंद करते हैं। आकार असामान्य है: Jev अभी भी टेक्स्ट लेता है, लेकिन टेक्स्ट जनरेट करने के बजाय, यह फ्लोटिंग पॉइंट नंबर लौटाता है — संभावनाएं, कॉन्फिडेंस स्कोर, और श्रेणियों पर वितरण।
आप जो कुछ भी देख रहे हैं उसका वर्णन करने वाला एक "स्टेट" ऑब्जेक्ट बनाते हैं — एक लेख, एक ग्राहक रिकॉर्ड, अर्ध-संरचित डेटा का एक टुकड़ा — और फिर एक या अधिक टाइप किए गए प्रश्न संलग्न करते हैं। Jev प्रत्येक प्रश्न का एक संरचित संभावना के साथ उत्तर देता है एक वाक्य के बजाय। तीन प्रश्न आकार हैं। "Noul" प्रश्न हां/नहीं हैं — आप एक प्रस्ताव बताते हैं, और Jev 0 और 1 के बीच एक संख्या लौटाता है जो यह दर्शाती है कि कथन के सत्य होने पर उसे कितना विश्वास है; नाम, कंपनी के CEO ने Hacker News पर पुष्टि की, बर्नौली के लिए छोटा है, जैसा कि बर्नौली वितरण में। चॉइस प्रश्न लेबल किए गए विकल्पों की एक सूची लेते हैं और उन पर एक संभावना वितरण लौटाते हैं। स्कोर प्रश्न एक क्रमिक संख्यात्मक स्तरों पर रेटिंग मांगते हैं।
यह कीमत ही चीज़ है जो इसे बिल्डर्स के लिए दिलचस्प बनाती है। Jev केवल इनपुट टोकन के लिए शुल्क लेता है — आउटपुट मुफ्त है — और इनपुट रेट 0.042 डॉलर प्रति मिलियन टोकन है। यह OpenAI के GPT-5 Nano को प्रति मिलियन टोकन 0.05 डॉलर पर पीछे छोड़ देता है, जिसे TypeSafe उस बेंचमार्क के रूप में पेश करता है जिसे उसने अभी हराया है। क्योंकि आउटपुट अनिवार्य रूप से मुफ्त है, Jev उन पाइपलाइनों में स्वाभाविक रूप से फिट बैठता है जो प्रति दस्तावेज़ कई समानांतर निर्णय फैलाती हैं।
बिल्डर्स के लिए, इसका मतलब है कि Jev कहीं भी देखने लायक है जहाँ आपने पहले किसी सामान्य LLM पर एक क्लासिफिकेशन प्रॉम्प्ट लगाया था। यह राउटिंग, ट्रायज, या कंटेंट मॉडरेशन लेयर्स के लिए उपयुक्त है जहाँ आप एक पैराग्राफ के बजाय एक कॉन्फिडेंस नंबर चाहते हैं। जो कुछ भी एक असली जवाब चाहता है उसके लिए इसे नीचे एक नियमित टेक्स्ट मॉडल के साथ जोड़ें।
[22:07] एक सेल्फ-होस्टेड ब्राउज़र जो AI एजेंट्स को Captchas छोड़ने देता है
invisible_playwright_mcp के एक नए रिलीज़ से AI एजेंट्स को सामान्य बॉट डिफेंस को ट्रिगर किए बिना वेब ब्राउज़ करने का एक सेल्फ-होस्टेड तरीका मिलता है। यह प्रोजेक्ट एक Python सर्वर है जो Model Context Protocol बोलता है, वही स्टैंडर्ड जिसका मॉडल बाहरी टूल्स कॉल करने के लिए उपयोग करते हैं, और यह Playwright को wrap करता है, एक लोकप्रिय ब्राउज़र-ऑटोमेशन लाइब्रेरी, जिसे एक undetected, anti-detect stealth बिल्ड of Firefox के चारों ओर wrap किया गया है। परिणाम एक ब्राउज़र सेशन है जो एक नियमित यूज़र की नकल करता है हेडलेस स्क्रिप्ट के बजाय, जो इसे fingerprint चेक्स पास करने और captchas छोड़ने में मदद करता है। वर्शन 0.70.0 23 सितंबर को शिप हुआ, और GitHub रिपॉजिटरी अब 31,600 से अधिक स्टार्स दिखाती है।
बिल्डर्स के लिए, अपील सीधी है। ब्राउज़र ऑटोमेशन जो पहले एक पेड captcha-सॉल्विंग सर्विस या नाजुक वर्कअराउंड्स की मांग करता था अब एक टूल के अंदर संभाला जा सकता है जिसे एक एजेंट पहले से कॉल कर सकता है। कुछ भी जिसे एक असली सेशन चाहिए — डैशबोर्ड में लॉग इन करना, बेसिक बॉट वॉल्स के पीछे साइट को scrape करना, मल्टी-स्टेप फॉर्म भरना, या एक "कंप्यूटर यूज़" लूप चलाना — आपके अपने एनवायरनमेंट में इस सर्वर के ज़रिए चल सकता है। यह क्रेडेंशियल्स को लोकल रखता है और लूप से तीसरे पक्ष की डिपेंडेंसी हटाता है।
प्रोजेक्ट ओपन-सोर्स और सेल्फ-होस्टेड है, इसलिए सामान्य चेतावनी लागू होती है: stealth ब्राउज़र्स arms-race टूल्स हैं, और एक प्रोजेक्ट से anti-detect Firefox कल फिंगरप्रिंट हो सकता है। अपस्ट्रीम Firefox बदलावों पर नज़र रखें, वर्शन pin करें, और उपयोग को साइट की शर्तों और लागू कानून के भीतर रखें। अगर आपका एजेंट वर्तमान में captcha वॉल के पीछे फँसा है, तो आज़माने के लिए यह परिपक्व ओपन विकल्पों में से एक है।
[23:38] OpenAI ने AI प्रतिक्रियाओं का परीक्षण करने के लिए MentalHealthBench रिलीज़ किया
OpenAI ने 23 सितंबर को MentalHealthBench प्रकाशित किया। यह एक बेंचमार्क है — एक मानकीकृत मूल्यांकन सेट — जो मनो-स्वास्थ्य बातचीत में AI सिस्टम कैसे प्रतिक्रिया करते हैं, इसको मापने के लिए, दो आयामों पर एक साथ स्कोर किया गया: मददगार होना और सुरक्षित होना।
OpenAI के अनुसार, जो इसे अलग बनाता है, वह यह है कि बेंचमार्क विशेषज्ञ-सूचित है। मनो-स्वास्थ्य विशेषज्ञों ने उस यथार्थवादी बातचीत परिदृश्यों को आकार देने में भाग लिया जिस पर बेंचमार्क आधारित है। यह विवरण मायने रखता है क्योंकि जेनेरिक सुरक्षा परीक्षण अक्सर एक असली बातचीत की बनावट को चूक जाते हैं — एक मॉडल किसी परेशान व्यक्ति को कैसे संभालता है, घबराहट के पल के बारे में बात करता है, या जानता है कि कब किसी उपयोगकर्ता को पेशेवर मदद की ओर इंगित करना है।
निहित दर्शक वे डेवलपर्स और शोधकर्ता हैं जो संवेदनशील संदर्भों के लिए कन्वर्सेशनल AI बना रहे हैं — थेरेपी-सीमित उत्पाद, सपोर्ट बॉट्स, वेलनेस ऐप्स, और उनके अंतर्निहित मॉडल। एक पब्लिक बेंचमार्क उन टीमों को एक साझा संदर्भ बिंदु देता है हाथ से चुने गए डेमो पर निर्भर रहने के बजाय।
फ्रेमिंग एक ड्यूल स्कोर पर भी जोर देती है। एक मॉडल मददगार हो सकता है लेकिन असुरक्षित — गर्मजोशी से जुड़ते हुए यूजर को कहीं हानिकारक की ओर ले जाना — या सुरक्षित लेकिन बेकार, जब यूजर को वास्तव में गाइडेंस की जरूरत हो तो मना या टालना। MentalHealthBench दोनों को ट्रैक करता है, जिसका मतलब है कि कोई भी एकल हेडलाइन नंबर तस्वीर को कम आंक देगा। इस स्पेस में शिपिंग करने वाली टीम्स के पास अब एक कॉमन यार्डस्टिक है, और उन्हें इसके दोनों सिरों को पढ़ना होगा।
आगे देखें: क्या थर्ड-पार्टी लैब्स बेंचमार्क को उठाती हैं, और क्या OpenAI अपने खुद के मॉडल्स के साथ बेसलाइन स्कोर रिलीज करता है। पब्लिश्ड नंबर्स के बिना बेंचमार्क वास्तव में सिर्फ एक रूब्रिक है।
NOVA: मैं NOVA हूँ।
[ALLOY]: मैं ALLOY हूँ, और ये है AgentStack Daily।
NOVA: Claude Opus 5.5 अभी-अभी चार डॉलर प्रति मिलियन इनपुट टोकन और बीस डॉलर प्रति मिलियन आउटपुट टोकन पर आ गया है, Anthropic दावा कर रहा है कि Fable-class performance बहुत कम operating cost पर मिलता है। ये इसे सीधे OpenAI के GPT-6 Sol और Astra के खिलाफ लाता है—और लोगों को एक ऐसा मॉडल देता है जो बड़े codebase की जांच कर सकता है, कई documents के बीच reasoning कर सकता है, या इतने लंबी रिपोर्ट जनरेट कर सकता है जो कई किताबों से भी बड़ी हों।
[ALLOY]: और, ठीक है, price fight तेज हो रही है। Grok 4.7 एक बड़ा base model लाता है बिना अपने दो डॉलर इनपुट और छह डॉलर आउटपुट rate बढ़ाए। Nokia के AnyJev open language models को calibrated decision systems में बदल देता है, जबकि NVIDIA का Nemotron 3 live में आठ तक overlapping speakers को अलग कर सकता है। ये बदलाव automation की cost को प्रभावित करते हैं, कि कोई agent dependably routing decisions ले सकता है या नहीं, और कि कोई meeting assistant बता सकता है कि आखिर किसने वास्तव में क्या वादा किया।
NOVA: आज, आप सुनेंगे कि Opus Sol और Astra से कैसे compare करता है, Hermes Agent 9.21 ने अपने enormous patch window में क्या ship किया, और क्यों पांच हजार घंटे के recorded AAA gameplay उन agent weaknesses को expose कर सकते हैं जो ordinary benchmarks miss करते हैं।
NOVA: Hermes Agent ने 9.21 को Nous Research से एक stable patch release के तौर पर ship किया, लगभग अठारह सौ merged pull requests को Docker images, Hermes Cloud, और hosted deployments के लिए एक tag में रोल किया। Measured window में पचास सौ से अधिक non-merge commits हैं, लगभग इक्यावन सौ changed files में फैले, तीन लाख बारह हजार से अधिक lines added के साथ। किसी चीज़ के लिए जिसे "patch" कहा जाता है ये बहुत ज़्यादा movement है। Concrete additions machine-facing output और daily interaction दोनों को cover करते हैं। Structured stream JSON downstream software को terminal prose parse करने की ज़गह line-by-line event feed देता है। एक नया discovery-concurrency control यह सीमित करता है कि startup के दौरान कितने Model Context Protocol connections parallel में open हो सकते हैं। Selected skills हर नए session में automatically load हो सकती हैं, उनकी availability consistent बनाती हैं बिना उन्हें फिर से call किए। Prior sessions में search को time boundaries मिलती हैं और broader retry जब पहला query बहुत strict हो। Session journal mode बदलने के लिए एक command भी है। Gateway अब unauthorized direct messages decline कर सकता है, और एक host-wide singleton lock desktop client को existing backend से attach करने देता है गलती से दूसरा बनाने की जगह। एक backend-owned connector operation desktop, terminal, और command-line surfaces पर same setup card की तरह दिख सकता है। ये consistency matters जब same agent कई interfaces से controlled हो।
[ALLOY]: सही है, क्योंकि duplicated backends किसी agent को haunted जैसा feel कराते हैं: दो processes, दो states, और कोई obvious owner नहीं। Singleton record हर interface को running gateway खोजने के लिए एक shared place देता है, ताकि terminal session के बाद desktop open करने से काम quietly split न हो। Desktop को one-click local-engine updates, chat और interface font picker, और hub से plugin removal भी मिलता है। Video catalogs में LTX 2.5 और Kling O3 add होते हैं। Plugin directory Tailscale, SSH, Shodan, terminal access, RSS, memory, और notification utilities spanning community tools उठाती है, जबकि catalog pages अब authors और pinned documentation को स्पष्ट रूप से expose करती हैं। सब मिलाकर, 9.21 operators को structured output, connection pressure, persistent skills, gateway access, और यह control करने पर ज़्यादा control देता है कि कौन सा backend किसी session का owner है। Automatic skill loading repeatable agents के लिए especially consequential है: हर session के लिए selected किसी capability पर अब निर्भर नहीं है कि कोई conversation शुरू होने के बाद उसे invoke करना याद रखे। Structured event output भी Hermes को किसी दूसरे application के अंदर embed करना आसान बनाता है क्योंकि status, tool activity, और results decorated text की जगह records के रूप में travel कर सकती हैं। honestly, change window की sheer size अभी भी caution की मांग करती है। एक stable tag downstream deployments को एक defined release देती है, लेकिन हज़ारों commits "patch" शब्द से कहीं ज़्यादा broad surface create करते हैं। फिर भी, ये सिर्फ एक package bump नहीं है। ये बदलता है कि Hermes कैसे start होता है, communicate करता है, available capabilities को याद रखता है, और अपने interfaces में same operation present करता है।
[ALLOY]: Four dollars in और twenty dollars out एक Opus model के लिए aggressive लगता है। price से परे और क्या बदला?
NOVA: Opus 5.5 पहला Claude 5.5 मॉडल है, जिसके Sonnet और Haiku वर्शन अगले कुछ हफ्तों में आने की उम्मीद है। Anthropic का कहना है कि यह अधिकांश काम में Claude Fable 5.1 जितना अच्छा प्रदर्शन करता है, जबकि सामान्य वर्कलोड की लागत Opus 5 की तुलना में चालीस प्रतिशत कम है। इनपुट पांच डॉलर से गिरकर चार डॉलर प्रति मिलियन टोकन हो गया है, आउटपुट पच्चीस से बीस हो गया है, और कैश्ड रीड्स की कीमत बीस सेंट है। जनरेशन तीस प्रतिशत से ज्यादा तेज है। यह टेक्स्ट, इमेज और फाइलें स्वीकार करता है, एक मिलियन टोकन का कॉन्टेक्स्ट विंडो रखता है, और एक लाख अट्ठाईस हजार टोकन तक प्रोड्यूस कर सकता है। यह Anthropic, प्रमुख क्लाउड प्लेटफॉर्म और GitHub Copilot पर उपलब्ध है, जिसमें जीरो डेटा रिटेंशन एक विकल्प के रूप में दिया गया है। थिंकिंग हमेशा सक्रिय रहती है। यूजर लो से मैक्स तक effort level चुन सकते हैं, और मैक्स एडाप्टिव थिंकिंग को सक्षम करता है। फास्ट मोड स्टैंडर्ड टोकन प्राइस के दोगुने पर ढाई गुना तेज चल सकता है।
[ALLOY]: यह एक गंभीर पुनर्स्थापन है। लॉन्च के नतीजे substantial हैं, हालांकि ये आंकड़े Anthropic के हैं। अधिकतम effort पर, Opus 5.5 ने Terminal-Bench पर छियासठ दशमलव चार प्रतिशत स्कोर किया, जो Opus 5 के बावन दशमलव तीन से बढ़कर आया है। AutomationBench छब्बीस दशमलव नौ से बढ़कर चालीस प्रतिशत हुआ, और partial OSWorld चौहत्तर से इक्यासी दशमलव आठ हुआ। Stripe ने मॉडल से चालीस स्टैक्ड पुल रिक्वेस्ट करवाए और रिपोर्ट किया कि सभी continuous integration पास हुए। Box ने पिछले टोकन वॉल्यूम का एक तिहाई इस्तेमाल किया जिसमें चालीस प्रतिशत कम verbose आउटपुट था। Deloitte ने लो effort पर प्लांटेड बग्स का बहत्तर प्रतिशत पाया, जबकि Opus 5 के लिए यह छप्पन प्रतिशत था, जबकि Hebbia ने छियासी दशमलव छह प्रतिशत rubric coverage रिपोर्ट किया, जो साठ दशमलव तीन से बढ़ा है। Anthropic का यह भी कहना है कि containment-crossing attempts लगभग पचासी प्रतिशत गिरे, जबकि चेतावनी दी कि मॉडल अक्सर evaluation settings को पहचान लेता है। सस्ता long-context काम, तेज आउटपुट और मजबूत coding नतीजे इसे एक गंभीर flagship refresh बनाते हैं।
NOVA: OpenAI ने लगभग डेढ़ घंटे बाद GPT-6 Sol और Luna के साथ जवाब दिया, जबकि Astra, जो इस महीने की शुरुआत में लॉन्च हुआ था, अपने टॉप टियर पर बना हुआ है। प्रति मिलियन टोकन कीमत: Astra इनपुट के लिए दस डॉलर और आउटपुट के लिए पचास है, Opus 5.5 चार और बीस, Sol दो और दस, Luna दस सेंट और पचास सेंट। तीनों flagships टेक्स्ट, इमेज और फाइलें लेते हैं, लगभग एक मिलियन टोकन का कॉन्टेक्स्ट हैंडल करते हैं, और एक लाख अट्ठाईस हजार आउटपुट टोकन तक प्रोड्यूस कर सकते हैं।
[ALLOY]: तो Astra के खिलाफ, Opus असल में कहां जीतता है?
NOVA: Anthropic का लॉन्च टेबल उन्हें साथ-साथ दिखाता है। Terminal-Bench: Opus छियासठ दशमलव चार, Astra सत्तावन दशमलव नौ, जहां Opus extra-high effort पर और Astra high पर है। FrontierCode: चौवन दशमलव चार बनाम तिरेपन दशमलव तीन। GDPval, जो professional work के लिए एक Elo rating है: अठारह सौ छियालीस बनाम पंद्रह बयालीस। Humanity's Last Exam with tools: सड़सठ दशमलव सात बनाम सत्तावन दशमलव दो। Astra दो में जीतता है: AutomationBench, इकतालीस दशमलव चार बनाम चालीस, और Terminal-Bench Science, चौंसठ दशमलव छह बनाम अठावन दशमलव सात। डिफ़ॉल्ट मीडियम effort पर, Anthropic कहता है कि Opus लगभग चालीस प्रतिशत लागत पर Terminal-Bench पर Astra से बराबर है।
[ALLOY]: Sol, Opus से पुराने मॉडलों के जरिए मिलता है, क्योंकि हर lab ने दूसरे की पिछली पीढ़ी को benchmark किया। OpenAI कहता है कि Sol बहुत कम लागत पर FrontierCode पर Fable 5.1 के बराबर है, DeepSWE पर अड़सठ दशमलव आठ स्कोर करता है, जो Fable 5 से लगभग एक पॉइंट पीछे है, और offline OSWorld पर Opus 5 को हराता है, साठ दशमलव पांच बनाम साठ दशमलव तीन, जबकि प्रति टास्क लागत लगभग अस्सी प्रतिशत कम है। Anthropic कहता है कि Opus 5.5 Fable 5.1 जितना अच्छा प्रदर्शन करता है। तो तस्वीर स्पष्ट है: Astra और Fable दस-और-पचास premium tier में हैं, Opus 5.5 Fable-class नतीजे चार-और-बीस पर लाता है, और Sol उस कीमत को आधा करता है जबकि Fable-level coding का दावा करता है। जैसा कि Simon Willison ने कहा, असली price war top से एक tier नीचे है।
[ALLOY]: Grok 4.7 वह price-war मूव है जिसकी मुझे उम्मीद नहीं थी। SpaceXAI कहता है कि यह Grok 4.6 से बड़े base model का उपयोग करता है, फिर भी standard API इनपुट के लिए दो डॉलर प्रति मिलियन टोकन और आउटपुट के लिए छह डॉलर प्रति मिलियन टोकन पर रहता है। Serving speed भी level पर बना हुआ है। एक fast variant आउटपुट speed दोगुनी करता है और कीमत भी दोगुनी करता है, जो कम से कम उस trade को explicit बनाता है।
NOVA: बड़े model ने longer reinforcement-learning run से गुजरा जो उन समस्याओं की ओर वेटेड था जिनमें घंटे लग सकते हैं, सेकंड नहीं। SpaceXAI better self-verification, longer-context handling, coding और knowledge work को उस training का श्रेय देता है। उसने एक instruction layer भी जोड़ा जो Grok Bot harness को natively समझता है। कंपनी कहती है कि उसने safeguards को फिर से बनाया और अब तक के सबसे मजबूत refusal और jailbreak results हासिल किए। इसका रिपोर्ट किया गया biosafety score LatchBio पर बासठ दशमलव चार प्रतिशत है, जबकि HackerBench दिखाता है कि तीन दशमलव तीन प्रतिशत risky dual-use prompts अटक जाते हैं। ये SpaceXAI के results हैं, तो outside use देखेगा कि वे कितने अच्छे travel करते हैं।
[ALLOY]: मुझे "बड़े दिमाग" के नारे से ज्यादा कीमत पर ध्यान देता है। उसी टोकन दर पर बेहतर दस्तावेज़ और प्रस्तुति निर्माण रूटीन का काम फिर से निर्देशित कर सकता है भले ही कोई दूसरा फ्लैगशिप सबसे कठिन मूल्यांकन जीत ले। SpaceXAI ग्रोक को CursorBench मूल्य-प्रदर्शन की सीमा के पास रखता है और Fable 5.1 और Astra के खिलाफ सॉफ्टवेयर इंजीनियरिंग, पेशेवर काम, और अर्थशास्त्र मूल्यांकन में प्रतिस्पर्धात्मक परिणाम रिपोर्ट करता है। चुनिंदा सुरक्षा भागीदारों को भी आमंत्रण-только रेड-टीम एक्सेस मिलता है। इसके लिए सावधानीपूर्वक सीमाएं चाहिए, लेकिन रक्षा टीमें स्पष्ट रूप से मॉडल चाहती हैं जो यथार्थवादी हमला रास्तों के माध्यम से तर्क करने में सक्षम हों।
NOVA: और वितरण तुरंत है: Cursor, Grok Build, Grok API, तृतीय-पक्ष कोडिंग हार्नेस, मॉडल राउटर, और क्लाउड प्लेटफॉर्म। ग्रोक वहां पहुंचता है जहां डेवलपर्स पहले से ही इन्फरेंस खरीदते हैं, अपने सबसे मजबूत तर्क के साथ चालान पर: पुरानी दर पर एक बड़ा मॉडल। अगर दावा किए गए लाभ सामान्य कोडिंग और ज्ञान कार्य में बने रहते हैं, तो प्रतिस्पर्धियों को गुणवत्ता और कीमत पर जवाब देना होगा बिना यह मानने के कि बड़ा मॉडल स्वचालित रूप से ज्यादा खर्च करता है।
NOVA: Nokia का AnyJev चैट से अधिक संकरी समस्या को संबोधित करता है, और यही इसे दिलचस्प बनाता है। ओपन-सोर्स Python लाइब्रेरी किसी मौजूदा ओपन भाषा मॉडल को बिना अतिरिक्त मॉडल प्रशिक्षण के कैलिब्रेटेड निर्णय प्रणाली में बदल देती है। एक पैराग्राफ मांगने के बजाय, एक एप्लिकेशन मॉडल से निश्चित विकल्पों में से चयन करने के लिए कहता है और रूटिंग, वर्गीकरण, या एस्केलेशन के लिए उपयुक्त संभावनाएं प्राप्त करता है। यह Transformers और vLLM सर्विंग का समर्थन करता है, सामान्य प्रॉम्प्ट कार्य को दोहराने से बचने के लिए शेयर्ड-प्रीफिक्स स्कोरिंग का उपयोग करता है, और Apache 2.0 लाइसेंस रखता है। Nokia के शोधकर्ताओं ने इसे Qwen, OLMo, Granite, Phi, और Mistral मॉडलों पर परीक्षण किया, न कि इसे एक चेकपॉइंट के लिए ट्रिक के रूप में प्रस्तुत किया।
[ALLOY]: ठीक है, चतुर भाग यह है कि यह दो पूर्वाग्रहों पर कैसे हमला करता है जो कच्ची संभावनाओं को अविश्वसनीय बनाते हैं। एक मॉडल साक्ष्य की परवाह किए बिना "हां" जैसे लेबल को प्राथमिकता दे सकता है, और यह किसी भी विकल्प को प्राथमिकता सूची स्थिति में प्राथमिकता दे सकता है। AnyJev विकल्पों को घुमाता है ताकि हर जवाब हर स्थिति में दिखाई दे, फिर परिणामों को ज्यामितीय माध्य का उपयोग करके संयोजित करता है। यह वास्तविक इनपुट देखने के बाद मॉडल की पृष्ठभूमि प्राथमिकता को भी ठीक करता है। एक दूसरा स्तर कुछ सौ लेबल किए गए उदाहरणों का उपयोग करके विश्वास को बदलता है बिना विजेता जवाब को बदले। Qwen3-8B के साथ बीस-तरीके के बैंकिंग कार्य पर, पुनर्व्यवस्थित विकल्पों ने कच्चे जवाब तेईस प्रतिशत समय बदले। AnyJev ने इसे लगभग सात प्रतिशत तक कम किया और सटीकता सत्तर चार दशमलव सात से अस्सी दशमलव सात प्रतिशत तक बढ़ाई। इससे भी बेहतर, पांच प्रतिशत त्रुटि सीमा पर स्वचालित अनुरोधों की हिस्सेदारी सात दशमलव सात से बावन प्रतिशत तक बढ़ गई। यह सांख्यिकीय सजावट नहीं है। यह बदलता है कि कितना काम स्वचालित रूप से हो सकता है और कितना अभी भी किसी व्यक्ति की जरूरत है।
[ALLOY]: वाक-पहचान बताती है कि क्या कहा गया था, लेकिन यह एक मीटिंग सहायक को यह बता सकती है कि किसने कहा। Nemotron 3 आठ स्पीकर को कैसे सीधा रखता है जब लोग एक दूसरे को बाधित करते हैं?
NOVA: NVIDIA का ओपन-वेट मॉडल एक एकल ऑडियो स्ट्रीम से आठ चैनल स्पीकर गतिविधि का उत्पादन करता है। इसमें सौ मिलियन पैरामीटर हैं और मानक सोलह-किलोहर्ट्ज, एकल-चैनल ऑडियो स्वीकार करता है। मॉडल हर दस मिलीसेकंड में ध्वनि को फ्रीक्वेंसी प्रतिनिधित्व में बदलता है, उन अवलोकनों को अस्सी मिलीसेकंड फ्रेम में समूहित करता है, और उन्हें इकतीस-परत Transformer के माध्यम से भेजता है। एक कन्वोल्यूशन परत दस मिलीसेकंड टाइमिंग को पुनर्स्थापित करती है। जब दो लोग एक साथ बात करते हैं, तो दो आउटपुट चैनल सक्रिय होते हैं एक आवाज को जीतने के बजाय। स्पीकर आगमन क्रम द्वारा असाइन किए जाते हैं - पहली सुना गया नया वॉयस पहला चैनल पाता है - और दो मेमोरी सिस्टम उन पहचानों को लगातार चंक्स में ऑडियो स्ट्रीम के रूप में संरक्षित करते हैं।
[ALLOY]: यह NVIDIA के पिछले चार-स्पीकर स्ट्रीमिंग सिस्टम से गंभीर छलांग है। Voice Arena के प्रारंभिक Diarization-Bench पर, लगभग बाईस घंटे और सौ उनतीस अंग्रेजी बातचीत को कवर करते हुए, Nemotron ने चौदह दशमलव बहत्तर प्रतिशत डायराइजेशन त्रुटि दर पर पहुंचा। अगला रैंक किया गया सिस्टम उन्नीस दशमलव तीन पर था, लगभग चौबीस प्रतिशत सापेक्ष कमी। NVIDIA के चार-स्पीकर बेसलाइन के सिर्फ एक सेकंड से अधिक विलंबता पर, औसत सापेक्ष त्रुटि आठ स्थितियों में इक्यावन प्रतिशत गिरा, जिसमें एक विशेष रूप से कठिन मल्टी-स्पीकर सेट पर पैंसठ प्रतिशत गिरावट शामिल है। कंपनी RTX Pro 5000 पर लंबे चंक्स के साथ पंद्रह हजार गुना रियल टाइम से ऊपर थ्रूपुट भी रिपोर्ट करती है। ठीक है, यह वास्तव में बेतुका है। आठ ओवरलैपिंग स्पीकर विनम्र बोर्ड मीटिंग नहीं हैं। वे एट्रिब्यूशन के लिए हॉस्टाइल वातावरण हैं। वेट्स NVIDIA के OpenMDW लाइसेंस के तहत व्यावसायिक रूप से उपयोग करने योग्य हैं, क्लाउड सर्विंग रूट्स और ऑन-डिवाइस मोबाइल पथ के साथ, ताकि यह लैब डेमो से आगे मीटिंग कैप्चर, कॉल विश्लेषण, प्रसारण, और लाइव ट्रांसक्रिप्शन में जा सके जहां बाधाएं सामान्य हैं।
NOVA: OpenAI अपनी Daybreak साइबर-डिफेंस प्रोग्राम को सीधे यूक्रेन की सरकार तक विस्तारित कर रहा है, कंपनी के टूल्स को नागरिक बुनियादी ढांचे की सुरक्षा के काम में लगा रहा है। एक राष्ट्रीय सरकार अब विक्रेता सहायता की सीधी प्राप्तकर्ता बन गई है, रक्षात्मक साइबर संचालन के लिए, न कि केवल शैक्षणिक या मध्यस्थ साझेदारी के माध्यम से क्षमता प्राप्त कर रही है। Daybreak को नागरिक-उन्मुख प्रणालियों के इर्द-गिर्द बनाया गया है, जिससे इस विस्तार का उद्देश्य सामान्य सरकारी पहुंच से अधिक सीमित है। एक ऐसे देश में जहां डिजिटल हमले भौतिक हमलों के साथ हो सकते हैं, तेज़ खतरे के विश्लेषण से संचार, सार्वजनिक सेवाएं और अन्य आवश्यक प्रणालियां प्रभावित हो सकती हैं।
[ALLOY]: और वही संदर्भ इस कदम को महत्वपूर्ण बनाता है। विसंगति पहचान, खतरा-खुफिया प्रसंस्करण, स्वचालित ट्रायज और घटना-प्रतिक्रिया सहायता के यहां तत्काल मानवीय दांव हैं। OpenAI का निर्णय फ्रंटियर-मॉडल कंपनियों को आवश्यक सेवाओं के आसपास सार्वजनिक क्षेत्र के रक्षकों के साथ सीधे संबंध बनाते हुए दिखाता है। यह प्रतिक्रिया कार्य को छोटा कर सकता है, लेकिन यह कठिन निर्णय विक्रेता प्रोग्रामों के भीतर भी रखता है: कौन योग्य है, कौन से रक्षात्मक उपयोग को उन्नत पहुंच मिलती है, और सुरक्षा उपाय सुरक्षा को दोहरे-उपयोग की बढ़त से कैसे अलग करते हैं। सीमा शैक्षणिक नहीं है जब वही क्षमताएं जो कमजोरी की पहचान करती हैं वे उसका शोषण करने में भी मदद कर सकती हैं।
NOVA: बिल्कुल, और यह आसपास की परत बनाने वाली कंपनियों—सुरक्षा संचालन सॉफ्टवेयर, साक्ष्य प्रबंधन, अलर्ट प्राथमिकता और विश्लेषक सह-पायलट—को एक स्पष्ट मांग संकेत देता है। सरकारें केवल AI-सहायता प्राप्त साइबर रक्षा पर चर्चा नहीं कर रही हैं; कम से कम एक को एक फ्रंटियर लैब से चल रहे संघर्ष के दौरान एक समर्पित प्रोग्राम मिल रहा है। मैं सफलता को केवल पहुंच से नहीं मापूंगा। सार्थक परिणाम हैं रक्षित सेवाएं, तेज़ जांच और कम सफल घुसपैठ। फिर भी, यूक्रेन का शामिल होना प्रदर्शन से परिचालन समर्थन की ओर एक कदम को चिह्नित करता है।
[ALLOY]: हां, और सीधी सहायता सीधी जिम्मेदारी लाती है। OpenAI को अब नागरिक रक्षा के आसपास की सीमा बनाए रखनी होगी जबकि उसकी प्रणालियां वास्तविक प्रतिद्वंद्वी व्यवहार, संवेदनशील जानकारी और तत्काल निर्णयों का सामना करती हैं। अगर Daybreak जवाबदेह मानवीय निर्णय को बदले बिना विश्लेषकों को पहले साक्ष्य जोड़ने में मदद करता है, तो यह संकीर्ण रूप से परिभाषित सार्वजनिक-हित तैनाती के लिए एक मॉडल बन सकता है। अगर सीमा धुंधली हो जाती है, तो वही प्रोग्राम अच्छे कारण के लिए जांच का विषय बनेगा।
NOVA: TasteBench पूछता है कि क्या कोई एजेंट लंबे कार्य के दौरान अच्छे चुनाव करता है, नहीं कि यह सिर्फ सफल अंतिम उत्तर पर टकराता है या नहीं। शोधकर्ता "स्वाद" का उपयोग उन निर्णयों के लिए करते हैं जैसे कि किस परिकल्पना पर ध्यान देना चाहिए, किस आंशिक कार्यान्वयन को जारी रखना चाहिए, और कब कोई आशाजनक रास्ता अंत हो गया है।
[ALLOY]: मुझे यह अंतर पसंद है क्योंकि अंतिम-उत्तर स्कोरिंग बर्बादी और भाग्य को छिपा सकती है। दो एजेंट दोनों एक सॉफ्टवेयर कार्य पूरा कर सकते हैं, जबकि एक सुसंगत रास्ता अपनाता है और दूसरा पुनर्प्राप्ति से पहले खराब शाखाओं पर घंटों जलाता है। लंबे समय चलने वाले शोध और कोडिंग प्रणालियां इन मध्यवर्ती निर्णयों से जीवित या मृत होती हैं।
NOVA: लेकिन क्या कोई बेंचमार्क अपने लेखकों की प्राथमिकताओं को केवल एन्कोड करके अच्छा स्वाद परिभाषित कर सकता है?
[ALLOY]: यही कठिन हिस्सा है। विशेषज्ञ निर्णय डोमेन में भिन्न हो सकते हैं, और एक आश्चर्यजनक रास्ता सफल होने से पहले गलत दिख सकता है। TasteBench एक निदान के रूप में सबसे उपयोगी है, एक बड़े स्कोर के रूप में नहीं। यह योजना गुणवत्ता को अंतिम पूर्णता से अलग करने में मदद कर सकता है और प्रकट कर सकता है कि कोई एजेंट बार-बार मजबूत विचारों को छोड़ता है, कमजोर विचारों से चिपका रहता है, या अपना बजट भटकते हुए खर्च करता है। पारंपरिक पास-या-फेल मूल्यांकन उन व्यवहारों को एक साथ धुंधला कर देते हैं।
[ALLOY]: GameHorizon एजेंट्स को इक्कीस प्रमुख गेम्स में से पांच हजार घंटे की रिकॉर्डेड प्ले देता है, जिसमें Valorant, Minecraft, Grand Theft Auto V, Palworld, और Elden Ring शामिल हैं। सौ अनुभवी खिलाड़ियों ने डेमोस्ट्रेशन्स जनरेट किए, जिनमें एक्शन्स इंस्ट्रक्शन्स के साथ अलाइन थे - तुरंत के कंट्रोल्स से लेकर छोटे ऑपरेशन्स और लंबी स्ट्रैटेजीज तक।
NOVA: वह लेयर्ड लेबलिंग ही पॉइंट है। एक एजेंट अगला कीप्रेस पहचान सकता है लेकिन उस गोल को पूरा करने में असफल हो सकता है जिसमें कई स्टेजेस लगते हैं, या एक अच्छी स्ट्रैटेजी बता सकता है जबकि अभी जरूरी एक्शन मिस कर रहा है। GameHorizon उन फेलियर्स को अलग करता है - पांच हजार ऑफलाइन क्वेश्चन्स और बाईस इंटरैक्टिव टास्क्स के जरिए जो बासठ सबटास्क्स में बंटे हैं। रिसर्चर्स ने सैंतालीस विज़न-लैंग्वेज, इंटरफेस-कंट्रोल, कोडिंग, और गेम-स्पेशलिस्ट मॉडल्स का मूल्यांकन किया। चूंकि रिकॉर्डिंग्स फिक्स्ड हैं, अलग-अलग सिस्टम एक ही सिचुएशन्स का सामना करते हैं, अनप्रेडिक्टेबल लाइव रंस पर कंपेयर करने के बजाय। AAA गेम्स डेंस वर्ल्ड्स, पार्शियल इन्फॉर्मेशन, इंटरप्शन्स, और डिलेड रिवॉर्ड्स देते हैं - एजेंट्स के लिए एक यूज़फुल स्ट्रेस केस जिन्हें अगली स्क्रीन से आगे प्लान करना होता है।
NOVA: NVIDIA का तर्क है कि एजेंट सिक्योरिटी तब असली बनती है जब कोई एक चिंता को एक requirement, एक enforceable control, एक owner, और evidence में बदल देता है कि वह control काम कर गया। इसका उदाहरण सीधा है: एक एजेंट जो कस्टमर रिकॉर्ड अपडेट कर रहा है, एक डॉक्यूमेंट में एम्बेडेड मैलिशियस इंस्ट्रक्शन्स पढ़ता है और डेटा एक्सपोर्ट करने की कोशिश करता है। एक नेटवर्क रूल ट्रांसफर को ब्लॉक करता है, प्रोटेक्टेड लॉग्स एटेम्प्टेड टूल कॉल और डेस्टिनेशन को रिकॉर्ड करते हैं, और एजेंट अपने परमिशन को एक्सपैंड नहीं कर सकता।
[ALLOY]: यह बहुत concrete है। यह मानता है कि मॉडल को manipulate किया जा सकता है और मॉडल की reasoning के बाहर एक बाउंड्री रखता है। NVIDIA सिस्टम को मॉडल्स, harnesses, और execution environments में बांटता है। मॉडल्स capabilities सप्लाई करते हैं; harnesses इंस्ट्रक्शन्स, context, और टूल्स को असेम्बल करते हैं; रनटाइम्स फाइल्स, नेटवर्क्स, और प्रोसेसेस को कंट्रोल करते हैं जहां एक्शन्स होते हैं। केवल एक लेयर पर defense रखने से दूसरा लेयर बैड इंस्ट्रक्शन को दुनिया में ले जाने में सक्षम रहता है।
NOVA: NVIDIA अपने sandboxed runtime के रूप में external file, network, और process limits के लिए OpenShell की ओर इशारा करता है। Cisco's DefenseClaw governance जोड़ता है, जबकि JFrog एजेंट स्किल्स को रन होने से पहले स्कैन करता है। अन्य उदाहरणों में CrowdStrike's SafeMind शामिल है - रिपीटेड अटैक सिमुलेशन के लिए, Palo Alto Networks' Prisma AIRS - कंटिन्यूअस एडवरसैरियल प्रोबिंग के लिए, Capital One's VulnHunter - AI-असिस्टेड कोड रिव्यू के लिए, और ReversingLabs' Spectra Assure - मैलिशियस डिपेंडेंसीज खोजने के लिए। यह बहुत सारे प्रोडक्ट नेम्स हैं, लेकिन वे एक concrete आइडिया को सपोर्ट करते हैं: permissions, execution boundaries, monitoring, और software supply-chain checks सभी को मॉडल के जजमेंट से इंडिपेंडेंटली सरवाइव करना होगा। एक एजेंट जो मैलिशियस इंस्ट्रक्शन पढ़ सकता है उसे बाहर निकलने वाला कनेक्शन खोलने, प्रोटेक्टेड फाइल तक पहुंचने, या एक पॉइजंड पैकेज इंस्टॉल करने से रोका जा सकता है। यह सिक्योरिटी को मॉडल बिहेवियर की उम्मीद से कई इंडिपेंडेंटली enforceable limits में बदल देता है।
[ALLOY]: Thinking Machines Lab ने Crusoe Cloud पर अपने open models के लिए inference रन करने के लिए सालाना पैंसठ मिलियन डॉलर का वचन दिया है। यह partnership के रूप में छिपा हुआ hardware purchase नहीं है। प्रोडक्शन ट्रैफिक Crusoe Managed Inference से गुजरेगा, जहां Crusoe throughput, price-performance, capacity, और reliability के आसपास serving layer की जिम्मेदारी लेता है।
NOVA: open weights और model behavior वही रहते हैं। जो बदलता है वह endpoint के पीछे का machinery है - वे सर्वर्स, scheduling, scaling, और optimization जो latency और per-token economics तय करते हैं। Thinking Machines capacity planning को एक managed agreement के तहत हेंड ऑफ कर देता है खुद हर पार्ट ऑफ इंफ्रास्ट्रक्चर बनाने के बजाय। Crusoe के लिए, यह डील एक prominent anchor customer देती है और अपनी पिच के लिए एक serious reference देती है - AI-focused cloud के रूप में, बजाय bare accelerators का एक और seller के।
[ALLOY]: और साल में पैंसठ मिलियन दिखाता है कि inference operations कितने valuable हो गए हैं। training को अभी भी giant-cluster headlines मिलते हैं, लेकिन एक मॉडल जो continuously उपयोग होता है एक enormous recurring serving bill बनाता है। open-model labs एक choice का सामना करते हैं: research lab के बगल में infrastructure organization बनाना, या किसी specialist को वह काम absorb करने देना। Crusoe इस पर दांव लगा रहा है कि एक tuned managed service जीतता है - भले ही customers theoretically weights को कहीं और host कर सकते हैं। मुझे appeal दिखती है - weights का मालिक होना scheduling, batching, failover, या hardware utilization को magically आसान नहीं बनाता।
NOVA: मैं एक कॉन्ट्रैक्ट को व्यापक समेकन के रूप में पढ़ने का विरोध करूँगा, हालाँकि। डेवलपर्स को समान मॉडल इंटरफ़ेस दिख सकता है जबकि अंतर्निहित प्रोवाइडर बदलता है, जिससे लेटेंसी, अपटाइम, और कीमत-प्रदर्शन डील का दृश्य प्रमाण बन जाता है। Crusoe को अब यह दिखाना होगा कि एक नियोक्लाउड इस स्केल पर प्रोडक्शन इन्फरेंस दे सकता है, न कि बस आकर्षक कम्प्यूट रिज़र्व करना। अगर यह सफल होता है, तो अन्य ओपन-मॉडल कंपनियों को अपना सर्विंग स्टैक बनाने या सबसे बड़े हाइपरस्केलर्स को डिफ़ॉल्ट करने का एक विश्वसनीय विकल्प मिलता है। अगर यह संघर्ष करता है, तो कॉन्ट्रैक्ट एक महंगी याद दिलाने वाली बात बन जाता है कि प्रोडक्शन इन्फरेंस एक प्रोडक्ट है, बस GPU का ढेर नहीं।
NOVA: Jev टेक्स्ट स्वीकार करता है लेकिन नंबर वापस करता है: प्रोबेबिलिटीज़, कॉन्फिडेंस स्कोर, और कैटेगरी में वितरण। TypeSafe AI इसे System One मॉडल कहता है; "डिसीज़न मॉडल" स्पष्ट है। एक एप्लिकेशन एक स्टेट प्रोवाइड करता है—शायद एक कस्टमर रिकॉर्ड, आर्टिकल, या सेमी-स्ट्रक्चर्ड डॉक्यूमेंट—और प्रोज़ के बजाय टाइप्ड सवाल अटैच करता है।
[ALLOY]: तीन रेस्पॉन्स शेप हैं। एक हाँ-या-नहीं सवाल शून्य और एक के बीच कॉन्फिडेंस रिटर्न करता है। एक चॉइस सवाल नामित विकल्पों में प्रोबेबिलिटी वितरित करता है। एक स्कोर सवाल इनपुट को ऑर्डर किए गए न्यूमेरिक लेवल पर रेट करता है। तो एक जनरल मॉडल को यह बताने के लिए प्रॉम्प्ट करने के बजाय कि क्या कोई सपोर्ट टिकट ज़रूरी है, और फिर उसके सेंटेंस को पार्स करने के लिए, सॉफ्टवेयर को एक नंबर मिलता है जो सीधे राउटिंग में इस्तेमाल हो सकता है।
NOVA: कीमत उस स्पेशलाइज़ेशन को विवादास्पद बनाती है। Jev प्रति मिलियन इनपुट टोकन के लिए चार दशमलव दो सेंट चार्ज करता है, जिसमें कोई आउटपुट चार्ज नहीं है। यह GPT-5 Nano के पाँच सेंट इनपुट रेट से कम है, और न्यूमेरिकल आउटपुट उन व्याख्यात्मक पैराग्राफ के लिए भुगतान करने से बचता है जो एप्लिकेशन को कभी चाहिए ही नहीं थे। यह स्वाभाविक रूप से उन सिस्टम के लिए उपयुक्त है जो हर डॉक्यूमेंट में कई छोटे निर्णय लेते हैं: ट्रायर, मॉडरेशन, कैटेगराइज़ेशन, रैंकिंग, या यह चुनना कि कौन सा डाउनस्ट्रीम मॉडल रिक्वेस्ट को हैंडल करे। बड़े वॉल्यूम पर, प्रति मिलियन टोकन में सेन्ट का अंश बचाना छोटा लगता है जब तक कि हर आइटम कई निर्णय जेनरेट न करे।
[ALLOY]: और यह AnyJev के साथ अच्छी तरह जोड़ता है। Jev एक कमर्शियल मॉडल है जो प्रोबेबिलिटीज़ एमिट करने के लिए डिज़ाइन किया गया है; AnyJev उन्हें बिना रीट्रेनिंग के ओपन मॉडल से कैलिब्रेटेड डिसीज़न प्राप्त करने की कोशिश करता है। वे एक ही डिमांड को विपरीत दिशाओं से संबोधित करते हैं। कोई भी जनरेटिव मॉडल की जगह नहीं लेता जब किसी व्यक्ति को व्याख्या या जवाब की जरूरत होती है, लेकिन दोनों एक महंगे कन्वर्सेशनल मॉडल को ग्लोरिफाइड क्लासिफायर के रूप में उपयोग करने की आदत को चुनौती देते हैं। जब सॉफ्टवेयर को एक कॉन्फिडेंस वैल्यू की जरूरत होती है, तो तीन पॉलिश्ड पैराग्राफ वापस करना इंटेलिजेंस नहीं है। यह ओवरहेड है—और कभी-कभी एक पार्सिंग बग जो होने ही वाला है।
[ALLOY]: Invisible Playwright MCP ब्राउज़र ऑटोमेशन को एक सेल्फ-होस्टेड टूल में रैप करता है जो कॉमन बॉट डिफेंस से बचने के लिए डिज़ाइन किया गया है। यह Model Context Protocol बोलता है, जिसका उपयोग एजेंट बाहरी टूल कॉल करने के लिए करते हैं, और Playwright के माध्यम से एक एंटी-डिटेक्ट Firefox प्रोफाइल चलाता है। पॉइंट सेवenty रिपॉजिटरी के साथ शिप हुआ जिसके बयासी हज़ार से अधिक स्टार्स हैं। वह लोकप्रियता बताती है कि ब्राउज़र-आधारित एजेंट सिस्टम से कितनी बार टकराते हैं जो ऑटोमेशन को अस्वीकार करने के लिए बनाए गए हैं।
NOVA: आकर्षण स्पष्ट है: एक एजेंट डैशबोर्ड, फॉर्म, ऑथेंटिकेटेड पेज, स्क्रैपिंग, या कम्प्यूटर-यूज़ लूप के लिए ब्राउज़र सेशन बनाए रख सकता है बिना तुरंत फिंगरप्रिंट चेक और captcha स्क्रीन लगाए। सेल्फ-होस्टिंग सेशन क्रेडेंशियल्स को ऑपरेटर के एनवायरनमेंट के अंदर रखता है captcha-सॉल्विंग सर्विस के माध्यम से पास करने के बजाय। लेकिन "अनडिटेक्टेड" एक आर्म्स रेस में अस्थायी भाषा है। साइटें अपने फिंगरप्रिंट बदल सकती हैं, ब्राउज़र बिहेवियर नए तरीकों से ऑटोमेशन का पर्दाफ़ाश कर सकती हैं, और एक टूल जो एक डिफेंस के खिलाफ काम करता है अगले के खिलाफ फेल हो सकता है। इससे भी अधिक महत्वपूर्ण, एक चैलेंज को बायपास करना किसी साइट की शर्तों, एक्सेस नियमों, या कानून को ओवरराइड नहीं करता। प्रोजेक्ट उपयोगी इन्फ्रास्ट्रक्चर है जहाँ ऑटोमेशन की अनुमति है; यह ब्राउज़र फीचर के रूप में छिपा हुआ परमिशन नहीं है। इसका असली मूल्य निरंतरता है—एक अधिकृत वर्कफ़्लो को जीवित रखना जब सामान्य ऑटोमेशन बहुत आसानी से खुद को प्रकट करता है। सेल्फ-होस्टेड डेप्लॉयमेंट एक संगठन को ब्राउज़र स्टोरेज, कुकीज़, प्रोफाइल, और ऑथेंटिकेटेड सिस्टम को छूने वाली मशीनों पर कंट्रोल भी देता है। यह एक इंटरनल एजेंट के लिए मायने रख सकता है जो एक अप्रूव्ड सप्लायर पोर्टल पढ़ रहा है या कंपनी के मालिकाना डैशबोर्ड को ऑपरेट कर रहा है। फिर भी, वही स्टील्थ फीचर स्पष्ट दुरुपयोग को आकर्षित करती हैं, इसलिए आसपास के ऑथराइज़ेशन और ऑडिट ट्रेल उतने ही महत्वपूर्ण हैं जितना कि ब्राउज़र कनेक्शन खुद।
NOVA: OpenAI ने MentalHealthBench जारी किया है, जो यथार्थवादी मानसिक-स्वास्थ्य बातचीत में AI प्रतिक्रियाओं के लिए एक मानकीकृत मूल्यांकन है। यह दो आयामों को एक साथ स्कोर करता है: क्या प्रतिक्रिया उपयोगी है और क्या यह सुरक्षित है। मानसिक-स्वास्थ्य विशेषज्ञों ने परिदृश्यों और स्कोरिंग मानदंडों को आकार देने में मदद की। यह महत्वपूर्ण है क्योंकि एक मॉडल देखभाल करने वाला लग सकता है जबकि अभी भी लापरवाह मार्गदर्शन दे रहा हो, या स्पष्ट खतरे से बचते हुए इतना अस्पष्ट हो सकता है कि यह मदद करना बंद कर दे।
[ALLOY]: सही है, गर्माहट अकेले नुकसान को छिपा सकती है। अलग-अलग उपयोगिता और सुरक्षा निर्णय उस ट्रेडऑफ को दृश्यमान बनाते हैं। एक प्रतिक्रिया मनोवैज्ञानिक पीड़ा को सही ढंग से पहचान सकती है फिर भी एक खतरनाक विश्वास को मजबूत कर सकती है। दूसरी नैदानिक निश्चितता से बच सकती है लेकिन एक सामान्य इनकार के पीछे व्यक्ति को छोड़ सकती है। उन परिणामों को समान मानना एक आश्वस्त करने वाला स्कोर और एक बुरा उत्पाद देगा।
NOVA: यथार्थवादी बातचीत अलग-थलग संकट कीवर्ड से भी कठिन होती है। पीड़ा अप्रत्यक्ष रूप से प्रकट हो सकती है, कई बारी में बदल सकती है, या एक साधारण व्यावहारिक प्रश्न के बगल में बैठ सकती है। थेरेपी-संबंधी उत्पादों, वेलनेस ऐप्स, सहायता प्रणालियों और सामान्य सहायकों को पहचानने की जरूरत है कि कब किसी आदान-प्रदान को देखभाल की आवश्यकता है, कब पेशेवर मदद को प्रोत्साहित किया जाना चाहिए, और कब मॉडल सहायक भाषा से अनुचित नैदानिक अधिकार में चला गया है। मल्टी-टर्न सेटिंग उन विफलताओं को उजागर कर सकती है जिन तक एकल प्रॉम्प्ट कभी नहीं पहुंचता।
[ALLOY]: एक साझा बेंचमार्क डेवलपर्स और बाहरी शोधकर्ताओं को हाथ से चुने गए डेमो से कुछ मजबूत देता है। मैं किसी भी बेंचमार्क को थेरेपिस्ट के रूप में मॉडल को तैनात करने की अनुमति के रूप में नहीं मानूंगा; असली लोग इतिहास और जोखिम लाते हैं जो एक निश्चित संग्रह पूरी तरह से प्रतिनिधित्व नहीं कर सकता। लेकिन विशेषज्ञ-सूचित बातचीत से पता चल सकता है कि कोई प्रणाली उपयोगी रहती है या लापरवाह बन जाती है। MentalHealthBench OpenAI के मानव नियंत्रण पर व्यापक जोर से भी जुड़ता है। यहां, यह सिद्धांत संपर्क के सबसे संवेदनशील बिंदुओं में से एक पर मापनीय हो जाता है: एक व्यक्ति जब स्वर, निश्चितता और एस्केलेशन वास्तविक परिणाम ला सकते हैं, तब मशीन से मदद मांग रहा है।
NOVA: तीन रिपॉजिटरी तेजी से आगे बढ़ रहे हैं। Nanobot के अड़तालीस हज़ार पाँच सौ अठारह स्टार्स हैं, तीस दिनों में एक हज़ार दो सौ सड़सठ की वृद्धि के साथ। इसके पॉइंट थ्री फाइव रिलीज़ में वेब इंटरफ़ेस, मेमोरी, टूल्स, Model Context Protocol सपोर्ट, मल्टी-एजेंट वर्कफ़्लोज़ और ऑटोमेशन हुक के साथ एक हल्का, सेल्फ-होस्टेड पर्सनल-एजेंट फ्रेमवर्क को आगे बढ़ाया गया है। Codebase Memory MCP तेजी से बढ़ने की कहानी है: चवालीस हज़ार पाँच सौ बयालीस स्टार्स, पॉइंट इलेवन के बाद एक महीने में बारह प्रतिशत की वृद्धि। यह एक निरंतर कोड नॉलेड्ग्राफ बनाता है ताकि कोडिंग एजेंट बार-बार फ़ाइलें पढ़ने के बजाय संरचना से पूछताछ कर सकें, और प्रोजेक्ट एक सौ अट्ठावन भाषाओं के सपोर्ट का दावा करता है साथ ही प्रमुख टोकन बचत।
[ALLOY]: ठीक है, ये दोनों स्वाभाविक रूप से जुड़ते हैं: Nanobot एक पर्सनल एजेंट को व्यवस्थित कर सकता है, जबकि Codebase Memory एक रिपॉजिटरी की विशेषज्ञ समझ प्रदान करता है। Invisible Playwright MCP ब्राउज़र का समकक्ष है, जो इकतीस हज़ार छह सौ चौवालीस स्टार्स के साथ अपना पहला ट्रैक किया गया प्रकटन बना रहा है, आज पॉइंट सत्तर रिलीज़ के साथ। एक प्रोजेक्ट एजेंट को व्यवस्थित करता है, दूसरा कोड ज्ञान को संरक्षित करता है, और तीसरा इसे एक सेल्फ-होस्टेड ब्राउज़र सतह देता है। वह मॉड्यूलरिटी रोमांचक है क्योंकि टीमें मेमोरी, ब्राउज़िंग या ऑर्केस्ट्रेशन को स्वतंत्र रूप से बदल सकती हैं, एक विशाल फ्रेमवर्क को स्वीकार करने के बजाय। Codebase Memory का बारह प्रतिशत मासिक लाभ उस आकार पर विशेष रूप से प्रभावशाली है, जबकि Nanobot की हालिया रिलीज़ और निरंतर रिपॉजिटरी गतिविधि दिखाती है कि इसका पहले से बड़ा दर्शक वर्ग अभी भी बदलाव प्राप्त कर रहा है। साथ मिलकर, तीन प्रोजेक्ट ध्यान को टिकाऊ संदर्भ और विश्वसनीय टूल एक्सेस की ओर बढ़ते दिखाते हैं, न कि केवल एक और चैट स्क्रीन।
NOVA: आज मॉडल प्रगति सर्विंग वेरिएंट के माध्यम से भी आई। GLM 5.3 Prime और Qwen 3.8 Max Prime प्रत्येक OpenRouter के माध्यम से मिलियन-टोकन संदर्भ लाते हैं, उनके विक्रेता उन्हें स्थापित लाइनों के उच्च-थ्रूपुट वर्शन के रूप में स्थान दे रहे हैं। प्रतिस्पर्धा अब केवल यह नहीं है कि कौन सा मॉडल मूल्यांकन में शीर्ष पर है, बल्कि विशाल संदर्भ कितनी जल्दी प्रोडक्शन में जा सकते हैं।
[ALLOY]: Ternary Bonsai 2 27B एक सत्ताईस-अरब-पैरामीटर टेक्स्ट मॉडल को GGUF फॉर्मेट में पैक करता है, जिसका उपयोग llama.cpp द्वारा स्थानीय अनुमान के लिए किया जाता है। इसकी असामान्य विशेषता टर्नरी, दो-बिट-ओरिएंटेड क्वांटाइज़ेशन है, जो भारों को पूर्ण-सटीक भंडारण की तुलना में बहुत अधिक आक्रामक रूप से संपीड़ित करता है। यह CUDA और Apple Metal रनटाइम का समर्थन करता है, हाइब्रिड अटेंशन का उपयोग करता है, और Hugging Face पर 1,950 लाइक्स और 2.8 मिलियन से अधिक डाउनलोड हासिल कर चुका है।
NOVA: यह हार्डवेयर पर नियंत्रण रखने वाले लोगों के लिए उपयोगी जनरेशन में काफी दिलचस्पी है। आक्रामक संपीड़न मेमोरी बचत को गुणवत्ता और डिवाइस-विशिष्ट गति के साथ बदल सकता है, लेकिन यह उन मशीनों पर सत्ताईस-अरब-पैरामीटर मॉडल को व्यावहारिक बनाता है जो सामान्य भार नहीं रख सकतीं। स्थानीय अनुमान संवेदनशील प्रॉम्प्ट को मशीन पर रखता है, प्रति-टोकन बिलिंग हटाता है, और एक परिपक्व डेस्कटॉप रनटाइम इकोसिस्टम से जुड़ता है। डाउनलोड गिनती दर्शाती है कि लोग क्षमता, मेमोरी, गति और नियंत्रण के बीच एक व्यावहारिक संतुलन सक्रिय रूप से तलाश रहे हैं।
NOVA: Sam Altman की संयुक्त राष्ट्र सुरक्षा परिषद की टिप्पणियाँ मानव नियंत्रण, AI सुरक्षा शासन और अंतरराष्ट्रीय सहयोग पर केंद्रित हैं। MentalHealthBench को पेश करना उस व्यापक तर्क के एक भाग को विशेषज्ञ-जागरूक मूल्यांकन में बदल देता है, जो यथार्थवादी मानसिक-स्वास्थ्य बातचीत में सहायकता और सुरक्षा को मापता है।
[ALLOY]: Tyk दोनों विचारों को लाइव इन्फ्रास्ट्रक्चर से जोड़ता है। इसका ओपन-सोर्स गेटवे REST, GraphQL, TCP, gRPC और Model Context Protocol ट्रैफिक को एक नीति परत के माध्यम से रूट करता है, और इसके 10,800 से अधिक सितारे हैं। अंतरराष्ट्रीय सहयोग अपेक्षाएँ निर्धारित करता है, MentalHealthBench संवेदनशील व्यवहार को मापता है, और Tyk वहाँ रूटिंग और एक्सेस नियम लागू करता है जहाँ सॉफ्टवेयर चलता है।
NOVA: जिन प्राथमिक स्रोतों, विशिष्टताओं, बेंचमार्क संदर्भों और परियोजनाओं के बारे में हमने सब कुछ कवर किया है, उन्हें देखने के लिए Toby On Fitness Tech dot com पर शो नोट्स देखें।
[ALLOY]: AgentStack Daily सुनने के लिए धन्यवाद।
NOVA: हम जल्द वापस आएंगे।