AgentStack Daily: OpenAI ChatGPT और Codex को व्यावसायिक परिणामों से जोड़ने हेतु एनालिटिक्स पिच करता है
OpenAI ने ChatGPT और Codex को व्यावसायिक परिणामों से जोड़ने के लिए एनालिटिक्स पेश किया, GitHub Copilot के 14 सितंबर बैच में मॉडल विकल्प, Sentry हुक और एडमिन... Show notes: https://tobyonfitnesstech.com/hi/podcasts/episode-115/
🎧 Listen to Episodeएपिसोड 115 — 19 सितंबर, 2026
[00:00] एपिसोड हुक
OpenAI Pitches Analytics to Tie ChatGPT and Codex to Business Outcomes शीर्षक एक घनी चक्र को समेटता है। GitHub Copilot का 14 सितंबर का बैच मॉडल विकल्प, Sentry hook और एडमिन टूल जोड़ता है, Linkup Releases Open Sparse Embedder SPARSEUP for Fast Retrieval, OpenAI Used Its Own Models to Design a Chip Called Jalapeño एपिसोड की शुरुआत पूरी करते हैं, जिसके बाद मॉडल, टूलिंग और उनके पीछे की इन्फ्रास्ट्रक्चर पर गहराई से चर्चा होती है। हर कहानी को एक जैसा व्यवहार मिलता है — क्या आया, उसके पीछे का तंत्र, और यह काम करने वाले बिल्डर्स के लिए क्या बदलता है।
[02:00] OpenAI Pitches Analytics to Tie ChatGPT and Codex to Business Outcomes
OpenAI ने 16 सितंबर को व्यापार टीमों के लिए एक how-to गाइड प्रकाशित की, जो दो उत्पादों — ChatGPT Work और Codex analytics — पर निर्भर करती है, जो AI अपनाने को मापनीय परिणामों से जोड़ने का तंत्र है। यह फ्रेमिंग उपयोग डेटा को व्यक्तिगत उत्पादकता और निरंतर AI निवेश के लिए व्यापार मामले के बीच की परत के रूप में स्थापित करती है।
गाइड एनालिटिक्स के लिए तीन ठोस उपयोगों को उजागर करती है: यह समझना कि टीमें वास्तव में उपकरणों का उपयोग कैसे कर रही हैं, उस उपयोग के खिलाफ खर्च को ट्रैक करना, और यह पहचानना कि कहां कर्मचारियों को अधिक मूल्य पाने के लिए प्रशिक्षण की आवश्यकता है। लक्ष्य अपनाने को ऐसी भाषा में बदलना है जिस पर नेतृत्व कार्य कर सके, न कि इसे अस्पष्ट उत्पादकता कहानी पर छोड़ देना।
बिल्डर्स और टीम लीडर्स के लिए, व्यावहारिक निहितार्थ यह है कि OpenAI अब आंतरिक उपयोग एनालिटिक्स को एक समर्पित गाइड के लायक उत्पाद सतह के रूप में मान रहा है। जो टीमें पहले से ChatGPT Work या Codex का उपयोग कर रही हैं, उनके पास जारी रोलआउट के लिए मामला बनाते समय उपयोग और खर्च के आंकड़ों का संदर्भ देने का रास्ता है।
एक बात पर नजर रखें: एनालिटिक्स वास्तव में कितनी विस्तृत होती है। गाइड परिणामों की भाषा में बोलती है, लेकिन अगला परीक्षण यह है कि क्या डेटा किसी विशेष वर्कफ़्लो को व्यावसायिक मीट्रिक से जोड़ने के लिए पर्याप्त गहराई तक जाता है, या कुल संख्याओं पर रुक जाता है।
[02:08] GitHub Copilot's September 14 batch adds model options, Sentry hook, and admin tools
GitHub का 14 सितंबर का Copilot साप्ताहिक रिलीज एक साथ कई व्यावहारिक अपग्रेड लेकर आया, 18 सितंबर को प्रकाशित। ये सुधार मॉडल पिकर, कोड रिव्यू, एडमिन कंट्रोल और Copilot ऐप itu तक फैले हैं।
डेवलपर्स के पास अब Copilot में नए मॉडल चयन विकल्प हैं, जो टीमों को यह चुनने में अधिक लचीलापन देता है कि कौन सा अंतर्निहित मॉडल कम्प्लीशन और चैट को संभालता है। Copilot ऐप में Sentry इंटीग्रेशन आया है, ताकि एरर मॉनिटरिंग उस वर्कफ़्लो में शामिल हो जाए जहां आप पहले से काम कर रहे हैं। अगर आप Sentry में क्रैश रिपोर्ट देख रहे हैं, तो आप बिना कॉन्टेक्स्ट-स्विचिंग टूल्स के ऐप के अंदर ही फिक्स कवरसेशन में जा सकते हैं।
कोड रिव्यू को अपडेट मिले हैं जिन्हें पोस्ट आगे ongoing work के रूप में फ्लैग करती है। एडमिन्स को भी उसी अपडेट में कॉन्फ़िगरेशन अपडेट मिले हैं, जो उन किसी भी व्यक्ति के लिए मायने रखता है जो संगठन भर में Copilot को मैनेज कर रहे हैं — संबंधित कंट्रोल शायद हिल गए हों।
पोस्ट में नए एजेंट फीचर्स का भी टीज़र है, हालांकि सोर्स उन्हें नाम देने से पहले ही कट हो जाता है। यह देखना worth है क्योंकि Copilot के अंदर एजेंट क्षमताएं वह जगह हैं जहां competitive ground बदलती रहती है।
इसे एक बैच्ड वीकली ड्रॉप के रूप में पढ़ें, एक सिंगल फ्लैगशिप फीचर के बजाय। व्यावहारिक कदम छोटा है: मॉडल पिकर पर एक नज़र डालें, Sentry हुक को try करें अगर आपकी टीम पहले से Sentry का उपयोग करती है, और एडमिन कंसोल को उन नए टॉगल्स के लिए ज़रूर देख लें जिनके बारे में अभी तक नहीं बताया गया है।
[03:29] Linkup Releases Open Sparse Embedder SPARSEUP for Fast Retrieval
Linkup Research ने SPARSEUP रिलीज़ किया है, एक 149-मिलियन-पैरामीटर open-source sparse embedding मॉडल, और मुख्य आंकड़ा 56.4 nDCG@10 है, एक ranking-quality स्कोर जहां higher better है, BEIR-13 पर, एक स्टैंडर्ड retrieval benchmark। Linkup इसे 150M पैरामीटर से कम के अंतर्गत best public sparse encoder result बताता है जो उसके पास है। मॉडल Apache 2.0 के तहत आता है, ताकि इसका उपयोग, modification, और commercial serving बिना licensing friction के किया जा सके।
Sparse embedding एक retrieval approach है जहां प्रत्येक document एक vector द्वारा प्रस्तुत किया जाता है जिसमें mostly zeros होते हैं, केवल कुछ active entries के साथ। वह sparsity ही पूरा पॉइंट है: यह search systems को classical inverted indexes का उपयोग करने देती है, वह data structure जो क्लासिक search engines को चलाती है, हर query के लिए expensive neural comparisons चलाने के बजाय। SPARSEUP अपने vectors को sparse तीन tricks का उपयोग करके रखता है: एक logit shift जो expansion से पहले low-relevance terms को दबाता है, एक top-12 expansion जो प्रति टोकन केवल बारह highest-scoring terms रखता है, और case folding जो capitalisation differences को collapse करता है ताकि same word slots wasted न करे।
Seismic inverted index के साथ जोड़े जाने पर, SPARSEUP लगभग 380 microseconds per query में 97% recall हिट करता है। यही वह हिस्सा है जो operationally मायने रखता है: commodity CPU hardware पर sub-millisecond retrieval, GPU के बिना। जो टीमें बड़े पैमाने पर retrieval-augmented generation pipelines चला रही हैं, उनके लिए यह cost curve बदल देता है।
मॉडल ModernBERT backbone पर बना है, original BERT text encoder का एक modern rewrite। यह एक CPU node पर आराम से फिट होने लायक छोटा है और product के अंदर ship करने के लिए permissive है।
यह अभी क्यों मायने रखता है: dense retrievers ने leaderboards पर dominance रखी है, लेकिन उन्हें serve करना अधिक महंगा है और GPU memory की जरूरत है। SPARSEUP उन बिल्डर्स के लिए एक credible open alternative प्रदान करता है जो पहले से inverted-index search stacks चलाते हैं और that architecture को पीछे छोड़े बिना neural quality चाहते हैं।
[05:20] OpenAI ने Jalapeño नामक चिप डिज़ाइन करने के लिए अपने स्वयं के मॉडल का उपयोग किया
इस महीने IEEE Spectrum का एक लेख विस्तार से बताता है कि OpenAI ने Jalapeño कोडनेम वाली एक कस्टम चिप डिज़ाइन करते समय अपने स्वयं के बड़े भाषा मॉडल पर भरोसा किया। यह कहानी, जो मध्य सितंबर में Hacker News पर सामने आई और लगातार चर्चा का विषय बनी, Jalapeño को एक आंतरिक सिलिकॉन प्रयास के रूप में प्रस्तुत करती है जहां आंतरिक AI टूलिंग ने डिज़ाइन प्रक्रिया में प्रत्यक्ष भूमिका निभाई।
व्यावहारिक निष्कर्ष फीडबैक लूप है। वही मॉडल वर्ग जिसे OpenAI प्रशिक्षित करता और परोसता है, अब उस हार्डवेयर को आकार देने में मदद कर रहा है जिस पर वे कार्यभार चलते हैं। ऐतिहासिक रूप से, चिप डिज़ाइन मानव इंजीनियरों, इलेक्ट्रॉनिक डिज़ाइन ऑटोमेशन टूल्स और फाउंड्री के साथ लंबे पुनरावृत्ति चक्रों पर निर्भर करता है। उस लूप में फ्रंटियर LLM को लाना लेआउट विकल्पों, सत्यापन और ट्रेड-ऑफ़ की तेज़ खोज का संकेत देता है, हालांकि प्रकाशित सामग्री यह निर्दिष्ट नहीं करती कि मॉडल ने किन डिज़ाइन चरणों में सहायता की या काम का कितना हिस्सा स्वचालित था।
अभी के लिए, सार्वजनिक विवरण पतले हैं। लेख कोडनेम का नाम बताता है और आंतरिक मॉडल के उपयोग की पुष्टि करता है, लेकिन प्रोसेस नोड, फाउंड्री पार्टनर, प्रदर्शन लक्ष्य या समयसीमा का खुलासा नहीं करता। यह इसे उत्पाद विशिष्टता शीट के बजाय दिशा-यात्रा साक्ष्य के रूप में छोड़ देता है। दिलचस्प फॉलो-अप यह देखना होगा कि OpenAI बेंचमार्क नंबर प्रकाशित करता है या नहीं, Jalapeño प्रशिक्षण, इन्फरेंस या दोनों के लिए है, और अन्य प्रयोगशालाएं अपने स्वयं के समान मॉडल-संचालित सिलिकॉन कार्यक्रमों को औपचारिक रूप देती हैं या नहीं।
[06:40] Federal Register ने संक्षेप में एक चीनी AI टूल चलाया जिसे FBI ने दुर्भावनापूर्ण बताया
Ars Technica की 18 सितंबर की रिपोर्ट के अनुसार, Federal Register, एक अमेरिकी सरकारी वेबसाइट, ने संक्षेप में एक ओपन सोर्स चीनी AI खोज टूल चलाया जिसे FBI ने दुर्भावनापूर्ण बताया है। यह कहानी ताज़ा ध्यान आकर्षित कर रही है कि तृतीय-पक्ष AI घटक कितनी आसानी से सरकारी अवसंरचना के अंदर समाप्त हो सकते हैं। चूंकि टूल ओपन सोर्स है, इसे किसी अन्य लाइब्रेरी जैसी आसानी से अपनाया जा सकता है - एक कॉन्फ़िगरेशन परिवर्तन और पुनः तैनाती - जो ठीक वही कम-घर्षण मार्ग है जो सत्यापन को कठिन बनाता है। Federal Register का अमेरिकी सरकारी गतिविधियों के आधिकारिक रिकॉर्ड के रूप में यह भूमिका इसे अधिक बनाती है एक नियमित प्राप्ति टिप्पणी से अधिक। बिल्डर्स के लिए निष्कर्ष सीधा है: जब आप किसी उत्पाद में पुनर्प्राप्ति या खोज परत जोड़ते हैं, तो आप उसके लेखक की उत्पत्ति को भी अपनी ज़िम्मेदारी में ले रहे हैं, और आपके उपयोगकर्ता उस श्रृंखला को बिना जाने ही इनherit करते हैं। इस बात पर ध्यान दें कि कौन सा टूल उपयोग में था, यह कितने समय तक चला, और इस प्रतिक्रिया में प्राप्ति नियमों की समीक्षा की जाती है या नहीं।
[07:45] xAI ने Grok Voice Transcribe 2.0 शिप किया, स्ट्रीमिंग सटीकता लीडरबोर्ड में शीर्ष पर
xAI ने अभी-अभी Grok Voice Transcribe 2.0 जारी किया है, अपना नवीनतम speech-to-text मॉडल, जो समान मूल्य पर संस्करण 1.0 से दोगुना सटीकता का दावा करता है। यह Grok Voice स्टैक के पीछे के ऑडियो फाउंडेशन मॉडल पर बना है जो पहले से ही Tesla वाहनों, ग्राहक-सहायता लाइनों और भौतिक उत्पादों में वॉयस एजेंटों में चलता है।
सार्वजनिक Artificial Analysis लीडरबोर्ड पर, Grok Voice Transcribe 2.0 32 स्ट्रीमिंग मॉडल में सटीकता के लिए पहले स्थान पर है। xAI का कहना है कि उसने विशेष रूप से सबसे कठिन वास्तविक-दुनिया के ऑडियो को लक्षित किया: अस्थिर फोन लाइनें, प्रतिस्पर्धी आवाज़ें, स्थानीय लहजे, और बोले गए क्रेडेंशियल जैसे फोन नंबर या ईमेल पते।
आंतरिक रूप से, xAI ने चार प्रोडक्शन-व्युत्पन्न सेट पर शब्द त्रुटि दर का परीक्षण किया - टेलीफोनी ऑडियो, Grok के साथ बातचीत, बोले गए खाता कोड, और छोटे बहुभाषी वॉयस कमांड। नया मॉडल चारों पर 1.0 में सुधार करता है, और टेलीफोनी पर इसके खिलाफ परीक्षित हर मॉडल से आगे है।
बहुभाषी सुविधा मुख्य लाभ है। यह मॉडल दर्जनों भाषाओं को संभालता है, स्वचालित रूप से पहचानता है कि कौन सी बोली जा रही है, और एक ही पास में रिकॉर्डिंग के दौरान मध्य-बीच होने वाले स्विच को फॉलो करता है। शॉर्ट-फ्रेज सेट पर — कार में कमांड जैसी स्थितियों के बारे में सोचें — वर्ड एरर रेट 20.6% से गिरकर 6.8% हो गया।
फीचर सेट व्यापक है: बैच और स्ट्रीमिंग ट्रांसक्रिप्शन, कॉन्फिडेंस स्कोर के साथ वर्ड-लेवल टाइमस्टैम्प, बिना अतिरिक्त लागत के स्पीकर डायराइज़ेशन, 8-चैनल तक का मल्टीचैनल ट्रांसक्रिप्शन, प्रति अनुरोध 100 डोमेन टर्म तक के लिए की टर्म बायसिंग, नंबरों और करेंसी के लिए टेक्स्ट फॉर्मेटिंग, फिलर वर्ड रिमूवल, और वॉइस एजेंट्स के लिए स्मार्ट टर्न डिटेक्शन। मौजूदा API इंटीग्रेशन बिना कोड बदलाव के सटीकता में सुधार पाते हैं।
मूल्य निर्धारण बैच के लिए $0.10 प्रति घंटा और स्ट्रीमिंग के लिए $0.20 प्रति घंटा पर बना हुआ है। Atlassian पहले से ही Loom ट्रांसक्रिप्ट को Grok Voice Transcribe 2.0 के माध्यम से रूट कर रहा है, और इस घोषणा में एक Cursor वर्कफ़्लो शामिल है जहां रिकॉर्ड किया गया Loom एक्शन प्लान सीधे कोड में बदल जाता है। वर्शन 2.0 जल्द ही Speech-to-Text API में डिफ़ॉल्ट बन जाएगा, जिसमें 1.0 आने वाले हफ्तों में बंद कर दिया जाएगा।
[09:38] रिसर्च डाइजेस्ट: RAFT: रिट्रीवल दैट ट्रैक्स व्हीयर अ सपोर्ट केस एक्चुअली इज़
अधिकांश कस्टमर सपोर्ट टूल्स प्रत्येक टिकट को एक स्टैंडअलोन डॉक्यूमेंट की तरह मानते हैं। RAFT नामक एक नया फ्रेमवर्क एक अलग दृष्टिकोण अपनाता है: यह ट्रैक करता है कि समस्या अपने जीवनचक्र में कहां है, ताकि कोई फंसा हुआ केस किसी और के समान केस की शुरुआत से नहीं, बल्कि बीच से उधार ले सके।
टीम ने इसे वास्तविक सपोर्ट केस कैसे खुलते हैं, इसके आसपास बनाया — एक फ्रोज़न पेज के बजाय टाइमलाइन एंट्री की चेन। जब एक नया टिकट किसी पुराने केस के मध्यवर्ती चरण से मेल खाता है, तो सिस्टम उस ट्रैजेक्टरी का बाकी हिस्सा आगे लाता है, एजेंट को एक रोडमैप देता है कि आगे क्या कोशिश करना है। एक वैकल्पिक सिमिलैरिटी ग्राफ संबंधित केस को जोड़ता है।
वैनिला रिट्रीवल और एक लोकप्रिय ग्राफ-बेस्ड अप्रोच के खिलाफ टेस्ट किया गया, RAFT ने प्रगति के हर चरण पर केस-हिट सटीकता बढ़ाई, सबसे मजबूत बेसलाइन पर सांख्यिकीय रूप से महत्वपूर्ण लाभ के साथ। शोधकर्ताओं ने मूल्यांकन के लिए Microsoft Learn Windows Server डॉक्यूमेंटेशन और Apache Jira टिकट्स का उपयोग किया, और बेंचमार्क और कोड जारी किया। व्यावहारिक परिणाम: एंटरप्राइज सपोर्ट एजेंट्स को वायर करने वाले बिल्डर्स के पास अब रिट्रीवल का एक ब्लूप्रिंट है जो समस्याओं के वास्तव में विकसित होने के तरीके से मेल खाता है, न कि बस इनटेक पर वे कैसे दिखती हैं।
[10:46] OpenAI ने ऑस्ट्रेलियाई युवा सुरक्षा ब्लूप्रिंट प्रकाशित किया
OpenAI ने ऑस्ट्रेलियाई युवा सुरक्षा ब्लूप्रिंट प्रकाशित किया है, एक छह-स्तंभ रोडमैप जो ऑस्ट्रेलिया में युवा लोगों के लिए AI इंटरैक्शन को सुरक्षित बनाने पर केंद्रित है। 18 सितंबर, 2026 को जारी, यह फ्रेमवर्क AI टूल्स के युवा उपयोगकर्ताओं के लिए एक सुरक्षात्मक और सशक्तिकरण गाइड के रूप में प्रस्तुत है।
यह दस्तावेज़ AI उत्पादों द्वारा नाबालिगों को कैसे संभाला जाता है, इस पर चल रही वैश्विक जांच के बीच आता है। ऑस्ट्रेलिया से जुड़े इस क्षेत्र-विशिष्ट फ्रेमवर्क को प्रकाशित करके, OpenAI सार्वजनिक रूप से संकेत दे रहा है कि युवा सुरक्षा अब केवल एक आंतरिक नीति चिंता नहीं, बल्कि उत्पाद-स्तर की प्राथमिकता बन रही है।
जो बिल्डर्स, पैरेंट्स और एजुकेटर्स ले सकते हैं वो скромा है लेकिन ध्यान देने योग्य है: ब्लूप्रिंट ऑस्ट्रेलियाई बाजार के लिए यूथ सेफ्टी को फोकस एरिया के रूप में नामित करता है, यह इशारा करते हुए कि ऑस्ट्रेलिया में भविष्य का प्रोडक्ट व्यवहार एज-अप्प्रोप्रिएट डिफॉल्ट्स, कंटेंट गार्डरेल्स, या युवा उपयोगकर्ताओं के लिए मजबूत सुरक्षा की ओर बदल सकता है। व्यावहारिक सवाल यह है कि क्या छह स्तंभ ChatGPT या अन्य OpenAI प्रोडक्ट्स में दृश्य फीचर बदलावों में बदलते हैं, या क्या दस्तावेज़ मुख्य रूप से आंतरिक निर्णयों और नियामक बातचीत को आकार देता है। फॉलो-अप घोषणाओं पर नजर रखना worth है जो ब्लूप्रिंट को specific प्रोडक्ट अपडेट्स से जोड़ती हैं, न कि इसे standalone पॉलिसी टेक्स्ट के रूप में छोड़ती हैं।
युवा उपयोगकर्ताओं को प्रभावित करने वाले कंज्यूमर-फेसिंग AI प्रोडक्ट्स पर काम करने वाले बिल्डर्स के लिए, प्रमुख लैब्स से औपचारिक youth-safety ब्लूप्रिंट्स का अस्तित्व खुद एक signal है। इस तरह के दस्तावेज़ीकरण tend to set expectations के लिए कि नियामक, स्कूल और पैरेंट्स आगे क्या देखेंगे, भले ही विशिष्टताएं कंपनी-आंतरिक रहें।
[12:12] Hex turns agent answers into share-ready visualizations with GPT-6 Astra
Hex अपने डेटा एजेंट्स से कुछ ऐसा वापस करा रहा है जो आप actually एक coworker को भेज सकते हैं। 16 सितंबर को, OpenAI featured एक write-up जिसमें बताया गया कि Hex ने GPT-6 Astra को उन एजेंट्स में कैसे जोड़ा है ताकि उनके answers interactive visualizations के रूप में आएं, न कि plain text or tables के रूप में। फ्रेमिंग बताने वाली है: OpenAI raw accuracy की जगह presentability पर जोर देता है, और Hex कहता है कि employees उन चीजों को साझा करने पर गर्व feel करती हैं जो एजेंट्स produce करते हैं।
मैकेनिज्म सिद्धांत में सरल है। Hex के डेटा एजेंट्स analytical work करते हैं, और Astra visual layer संभालता है, एजेंट के answer को chart या small report में बदलता है जो same flow के अंदर रहती है। कोई separate design pass नहीं, कोई manual cleanup step नहीं।
Hex का पहले से उपयोग करने वाली टीमों के लिए, व्यावहारिक बदलाव यह है कि query और deliverable एक step में collapse हो जाते हैं। एक user जो एजेंट से question पूछता है उसे कुछ ready to circulate मिलता है, बाद में massage करने के लिए raw result नहीं। समान एजेंट टूल्स बनाने वालों के लिए, signal यह है कि visual artifact increasingly part बन रहा है जो एजेंट डिफ़ॉल्ट रूप से आपको owes करता है।
एक बात देखने योग्य है: वे auto-generated visuals कितनी often तब hold up करते हैं जब कोई stakeholder उनके through click करना शुरू करता है। "Interactive" announcement में बहुत काम कर रहा है।
[13:29] Jev: एक सस्ता, तेज़ स्पेशलिस्ट मॉडल जो केवल Route और Classify करने के लिए बनाया गया है
TypeSafe ने 16 सितंबर को Jev रिलीज़ किया, इसे "System One Model" कहकर — Kahneman की fast, automatic thinking rather than slow, deliberate reasoning के प्रति जानबूझकर nod। पिच जानबूझकर narrow है। Jev केवल decide, classify, route, और score करने के लिए बनाया गया है। कोई generation नहीं, कोई chat नहीं, कोई reasoning chains नहीं।
Tradeoff speed और cost का है। TypeSafe का दावा है कि Jev 100 से अधिक गुना तेज़ चलता है और उसी तरह की lightweight triage को handle करने वाले छोटे frontier LLMs की तुलना में 200 गुना से अधिक सस्ता है। ये आंकड़े खुद कंपनी से आए हैं, इसलिए independent benchmarks matter करेंगे, लेकिन framing स्पष्ट है: एक yes-or-no job के लिए generalist को भुगतान करना बंद करो।
यह अंतर बिल्डर्स के लिए मायने रखता है। आज प्रोडक्शन में LLM API खर्च का एक बड़ा हिस्सा छोटे निर्णय कॉल पर जाता है — यह पता लगाना कि उपयोगकर्ता का क्या इरादा है, किस एजेंट को क्वेरी को संभालना चाहिए, क्या ड्राफ्ट रिस्पॉन्स भेजना सुरक्षित है। इनमें से अधिकांश कॉल को सत्तर अरब पैरामीटर वाले जनरलिस्ट की जरूरत नहीं है। उन्हें तेज क्लासिफिकेशन या रूटिंग निर्णय की जरूरत है। Jev सीधे इसी गैप को भरने के लिए बनाया गया है।
अगर आंकड़े बने रहे, तो किसी भी टीम के लिए जो मल्टी-एजेंट स्टैक चला रही है, उसका तुरंत का प्रयोग यह होगा कि क्लासिफायर या राउटर लेयर को Jev से बदला जाए और लेटेंसी, प्रति कॉल लागत और सटीकता को मापा जाए, जो भी छोटा मॉडल उस समय उस सीट पर बैठा हो। जीत स्मार्ट जवाब नहीं है। यह सस्ती प्लंबिंग है।
[14:55] जैसे-जैसे फंडिंग और हाइप बढ़ता है, वर्ल्ड मॉडल लैब्स चुप रहते हैं
वर्ल्ड मॉडल कंपनियों के पास पैसे और प्रेस की भरमार है, लेकिन यह बताने को बहुत कम है कि वे क्या शिप कर रहे हैं। 18 सितंबर की एक TechCrunch डिस्पैच बिना किसी लाग-लपेट के यह बात साफ करती है: संस्थापकों के पास जाएं, उनके डेटा सप्लायर्स के पास जाएं, और पूछें कि ये स्पैशियल और फिजिकल सिम्युलेटर वास्तव में क्या करने में सक्षम हैं, और ज्यादातर मामलों में आपको खामोशी मिलेगी।
यह लेख कार्यकारी सुइट से लेकर सिस्टम में डेटा देने वाले पार्टनर्स तक की अपारदर्शिता को ट्रेस करता है। संस्थापक आर्किटेक्चर विवरण, ट्रेनिंग डेटा संरचना, या निकट-अवधि प्रोडक्ट प्लान साझा करने से इनकार करते हैं। डेटा सप्लायर्स, जो अक्सर अपनी गोपनीयता समझौतों से बंधे होते हैं, यह पुष्टि नहीं करेंगे कि वे किस वर्ल्ड-मॉडल लैब के साथ काम करते हैं या वे किस प्रकार के ट्रैजेक्टरीज, वीडियो, या सेंसर स्ट्रीम्स में योगदान दे रहे हैं।
यह मायने रखता है क्योंकि वर्ल्ड मॉडल्स को रोबोटिक्स, सिम्युलेशन और एम्बॉडिड AI के लिए अगले प्लेटफॉर्म लेयर के रूप में पिच किया जा रहा है। अगर खरीदार और डेवलपर्स को किसी दिए गए मॉडल की क्षमताओं, इसके प्रशिक्षण के बारे में, या किस डेटा ने इसकी भौतिकी की समझ को आकार दिया, इसके बारे में सीधे जवाब नहीं मिलते, तो उनसे विश्वास पर ही प्रतिबद्ध होने को कहा जा रहा है। इस क्षेत्र के पास अंधेरे में बनाने के लिए फंडिंग है, लेकिन प्रकटीकरण की कमी तब तक स्वतंत्र मूल्यांकन लगभग असंभव बनाती है जब तक कि कोई पब्लिक डेमो या तकनीकी पेपर मामले को जबरदस्ती सामने नहीं लाता।
बिल्डर्स के लिए, व्यावहारिक निष्कर्ष यह है कि किसी भी वेंडर के दावों पर वर्कफ्लो बाजी लगाने से पहले एक काम करने वाला नमूना, रिकॉर्ड किया हुआ डेमो, या प्रकाशित मूल्यांकन मांगें। जब तक लैब्स खुलते नहीं, तब तक एकमात्र विश्वसनीय सिग्नल वह है जो सिस्टम वास्तव में आपके हाथों में करता है।
[16:29] क्या HF एब्लिटरेटेड मॉडल्स के खिलाफ कदम उठाने जा रहा है?
Baseten ने बुधवार को अपने Base Labs रिसर्च आर्म के साथ मिलकर एक नया सेफ्टी इन्फ्रास्ट्रक्चर स्टैंडर्ड लॉन्च किया, जो ओपन-वेट मॉडल्स के लिए सेफ्टी इवैल्यूएशन और मॉनिटरिंग इन्फ्रास्ट्रक्चर बनाने के लिए Hugging Face और Goodfire AI के साथ पार्टनरशिप की है। यह घोषणा ओपन-वेट मॉडल्स की सुरक्षा को लेकर बहस के बीच आती है — जिन्हें एब्लिटरेशन नामक उभरती तकनीक के माध्यम से उनकी सुरक्षा हटाकर खतरनाक बनाया जा सकता है। यह कंपनी का प्रकाशित पॉलिसी स्टैंड है, लागू कानून या नवीनतम शिप किया गया मॉडल क्षमता नहीं। तंत्र मॉडल वेट्स पर नियंत्रण है: ओपन वेट स्वतंत्र निरीक्षण और लोकल डिप्लॉयमेंट का समर्थन करते हैं, जबकि प्रतिबंधित फ्रंटियर वेट्स सुरक्षा चिंताओं के कारण प्रोवाइडर के नियंत्रण में रहते हैं। ओपन मॉडल चुनने वाले बिल्डर्स को इस बताई गई स्थिति को वर्तमान कानून से अलग करना चाहिए और स्टैक में बदलाव करने से पहले ठोस लाइसेंस या एक्सेस परिवर्तनों का इंतजार करना चाहिए।
[17:17] टर्नरी LLMs के लिए 1.58-बिट बैरियर तोड़ना
Hacker News स्कोर 242; चर्चा: https://news.ycombinator.com/item?id=49732931; हेडलाइन-केवल स्रोत — पूरी कहानी के लिए अपर्याप्त। arxiv.org पर प्राथमिक स्रोत केवल इन कथित तथ्यों का समर्थन करता है; असमर्थित विशिष्टताओं को जानबूझकर छोड़ दिया गया है। प्राथमिक स्रोत ऊपर बताए गए विशिष्ट उत्पाद या वर्कफ़्लो परिवर्तन का समर्थन करता है; यह प्रदर्शन, संगतता, या परिनियोजन के बारे में व्यापक दावों का समर्थन नहीं करता। इस पर निर्भर होने से पहले, वास्तविक वर्कफ़्लो के खिलाफ स्रोत पर आधारित परिवर्तन का परीक्षण करें।
[17:41] Microsoft ने TauGrid को ओपन-सोर्स किया: GPU AI वर्कलोड के लिए एक Kubernetes-Native स्टैक
Microsoft की AKS इंजीनियरिंग टीम ने 28 अगस्त, 2026 को TauGrid को ओपन-सोर्स किया, tau CLI, Kueue क्यूईंग, KubeRay ऑर्केस्ट्रेशन, GPU नोड स्वास्थ्य निगरानी और अवलोकन को एक Helm इंस्टॉल में पैक किया। यह MIT लाइसेंस्ड है और अब GPU नोड्स, kubectl और Helm 3.0 या उसके बाद के संस्करण वाले किसी भी Kubernetes 1.30+ क्लस्टर पर परिनियोजन योग्य है। Microsoft Open-Sources TauGrid: A Kubernetes-Native Stack for GPU AI Workloads शीर्षक वाली पोस्ट पहले MarkTechPost पर प्रकट हुई। प्राथमिक स्रोत ऊपर बताए गए विशिष्ट उत्पाद या वर्कफ़्लो परिवर्तन का समर्थन करता है; यह प्रदर्शन, संगतता, या परिनियोजन के बारे में व्यापक दावों का समर्थन नहीं करता। इस पर निर्भर होने से पहले, वास्तविक वर्कफ़्लो के खिलाफ स्रोत पर आधारित परिवर्तन का परीक्षण करें।
NOVA: मैं NOVA हूँ।
[ALLOY]: मैं ALLOY हूँ, और यह AgentStack Daily है।
NOVA: OpenAI चाहता है कि कंपनियाँ AI अपनाने को "वाइब्स" से जोड़कर नहीं बल्कि ठोस परिणामों के साथ देखें। उसकी नई एनालिटिक्स गाइडेंस ChatGPT Work और Codex के उपयोग को खर्च, प्रशिक्षण जरूरतों और व्यावसायिक नतीजों से जोड़ती है। लीडर्स देख सकते हैं कि कर्मचारी वास्तव में कहाँ AI का उपयोग करते हैं, जबकि टीमों को यह सबूत मिलता है कि उनकी रोलआउट कुछ मूल्य प्रदान कर रही है या नहीं। इस बीच, Hex किसी एजेंट के विश्लेषण को इंटरैक्टिव चार्ट में बदल रहा है जिन्हें लोग शेयर कर सकते हैं, और OpenAI का कहना है कि उसके अपने मॉडल ने Jalapeño नामक एक कस्टम चिप डिज़ाइन करने में मदद की। सॉफ्टवेयर काम को माप रहा है, काम को पेश कर रहा है, और अब उस हार्डवेयर को डिज़ाइन करने में भी मदद कर रहा है जो उसके नीचे है।
[ALLOY]: और आज, GitHub Copilot में ज़्यादा मॉडल विकल्प, एक Sentry कनेक्शन और संगठन नियंत्रण जुड़े हैं; Linkup का SPARSEUP न्यूरल सर्च को सामान्य CPUs पर ले जा रहा है; और xAI का दावा है कि Grok Voice Transcribe 2.0 में बड़ा सटीकता सुधार हुआ है। हमारे पास एक सरकारी सप्लाई-चेन डर भी है, एक रिट्रीवल सिस्टम जो समय के साथ सपोर्ट केस को फॉलो करता है, और शेयर्ड GPU इन्फ्रास्ट्रक्चर के लिए एक Kubernetes स्टैक भी है।
NOVA: एनालिटिक्स पिच सबसे बड़ा संगठनात्मक बदलाव है: AI उपयोग अब कुछ ऐसा बन रहा है जिसे प्रबंधन देखना और परिणामों से जोड़ना चाहता है, न कि बस खरीदना और उसकी उम्मीद लगाना।
NOVA: OpenAI ने सोलह सितंबर को उन व्यवसायों के लिए गाइडेंस प्रकाशित की जो ChatGPT Work और Codex अपनाने को मापनीय परिणामों से जोड़ने की कोशिश कर रहे हैं। यह एनालिटिक्स लेयर के तीन कामों को उजागर करता है: यह दिखाना कि टीमें प्रोडक्ट्स का उपयोग कैसे करती हैं, उपयोग की तुलना खर्च से करना, और यह पहचानना कि कहाँ कर्मचारियों को ज़्यादा प्रशिक्षण की जरूरत हो सकती है। यह बिक्री कहानी में एक सार्थक बदलाव है। एक कंपनी को अब पूरी तरह से सर्वेक्षणों पर भरोसा करने की ज़रूरत नहीं है जो कहते हैं कि लोग तेज़ महसूस करते हैं। वह असली काम के भीतर अपनान देख सकती है और तय कर सकती है कि ज़्यादा लाइसेंस, अलग सहायता, या सीमित डिप्लॉयमेंट समझदारी है या नहीं। दिलचस्प हिस्सा सिर्फ एक और डैशबोर्ड नहीं है। OpenAI उपयोग सबूत को व्यक्तिगत गतिविधि और एक्जीक्यूटिव निर्णय के बीच एक प्रोडक्ट सतह की तरह देख रहा है। एक टीम लीड बता सकता है कि Codex कहाँ उपयोग हो रहा है, फाइनेंस देख सकता है कि वह गतिविधि कितनी खर्च करती है, और लीडरशिप पूछ सकता है कि क्या वह काम किसी परिणाम से जुड़ा है जो कंपनी पहले से मापती है।
[ALLOY]: मैं महत्वाकांक्षा की सराहना करता हूँ, लेकिन "परिणामों से जोड़ना" वहाँ काफी काम कर रहा है। समग्र उपयोग यह दिखा सकता है कि लोगों ने ChatGPT खोला या Codex का उपयोग किया; यह स्वचालित रूप से साबित नहीं करता कि सॉफ्टवेयर ने राजस्व, गुणवत्ता, चक्र समय, या ग्राहक संतुष्टि में सुधार किया। एक ठोस एनालिटिक्स प्रोडक्ट को किसी वर्कफ़्लो को किसी परिणाम से जोड़ने के लिए पर्याप्त विवरण चाहिए, बिना कर्मचारी गतिविधि को घुसपैठ वाली निगरानी में बदले। यह संतुलन तय करेगा कि यह उपयोगी प्रबंधन अवसंरचना बनता है या एक परिष्कृत लाइसेंस काउंटर। फिर भी, दिशा स्पष्ट है: एंटरप्राइज AI प्रयोगात्मक पहुँच से जवाबदेह खर्च की ओर बढ़ रहा है। जब नवीकरण समय आता है, चैंपियंस को उत्साही किस्सों के संग्रह से ज़्यादा की ज़रूरत है। OpenAI चाहता है कि उसकी एनालिटिक्स वह सबूत प्रदान करे और उजागर करे कि कम अपनाना कहाँ से आता है - कमज़ोर उपयोग केस से नहीं बल्कि प्रशिक्षण की कमी से। अगर यह सार्थक काम को आकस्मिक गतिविधि से अलग कर सकती है, तो कंपनियों को अपनी रोलआउट का विस्तार करने - या घटाने - के लिए काफी मज़बूत आधार मिलेगा।
[ALLOY]: GitHub ने चौदह सितंबर को अपने साप्ताहिक रिलीज़ में कई Copilot बदलावों को एक साथ रखा: मॉडल पिकर में नए विकल्प, Copilot ऐप के अंदर Sentry इंटीग्रेशन, कोड-समीक्षा सुधार, संगठन नियंत्रण, और अतिरिक्त एजेंट फीचर्स। क्या यह उन बैचों में से एक है जहाँ कोई एक फीचर बड़ा नहीं लगता, लेकिन संयोजन बदल देता है कि Copilot एक इंजीनियरिंग दिन में कितनी बार दिखती है?
NOVA: बिल्कुल। Sentry कनेक्शन सबसे स्पष्ट उदाहरण हो सकता है। Sentry सॉफ्टवेयर एरर्स और आसपास के डायग्नोस्टिक कॉन्टेक्स्ट को कैप्चर करता है। Copilot में उस जानकारी को खींचने का मतलब है कि एक डेवलपर प्रोडक्शन फेलियर से एक्सप्लेनेशन या फिक्स की ओर बिना मैन्युअली क्रैश रिपोर्ट को प्रोडक्ट्स के बीच ले जाए बिना जा सकता है। ज्यादा मॉडल ऑप्शन्स एक अलग कारण से मायने रखते हैं: टीमें एक अंडरलाइंग मॉडल चुन सकती हैं जो एक विशेष कन्वर्सेशन या कम्पलीशन के लिए बेहतर फिट हो, इसके बजाय Copilot को एक फिक्स्ड इंटेलिजेंस की तरह ट्रीट करने के बजाय। कोड रिव्यू भी फर्स्ट-क्लास Copilot सरफेस बनता जा रहा है, जबकि एडमिन एडिशन्स ऑर्गनाइजेशन्स को यह कंट्रोल देते हैं कि सर्विस कैसे कॉन्फ़िगर की गई है। GitHub का एनाउंसमेंट एजेंट एडिशन्स को पूरी तरह डॉक्यूमेंट करने के बजाय सिर्फ टीज़ करता है, इसलिए उस हिस्से को बढ़ा-चढ़ाकर बताने की कोई वजह नहीं है। डॉक्यूमेंटेड चेंजेज पहले से ही दिखाते हैं कि Copilot मॉडल चॉइस, इंसिडेंट रिस्पॉन्स, रिव्यू और मैनेजमेंट में फैल रहा है।
[ALLOY]: सही, और वह चौड़ाई रिलीज़ को उल्लेखनीय बनाती है। Copilot कर्सर के बगल में असिस्टेंस के रूप में शुरू हुआ; अब यह एरर मॉनिटर, रिपॉजिटरी, रिव्यू कन्वर्सेशन और एक्सेस गवर्न करने वाले लोगों के बीच बैठने की कोशिश कर रहा है। मुझे Sentry पाथ में विशेष रुचि है क्योंकि प्रोडक्शन फेलियर्स टाइम प्रेशर के साथ आते हैं। अगर Copilot डेवलपर की जांच करते समय उपयोगी एरर कॉन्टेक्स्ट प्रिज़र्व कर सकता है, तो यह बिज़ीवर्क को ठीक उस समय हटा देता है जब बिज़ीवर्क सबसे ज्यादा नुकसान पहुंचाता है। लेकिन मॉडल चॉइस और एडमिनिस्ट्रेशन उल्टी दिशा में खींचते हैं: ज्यादा फ्लेक्सिबिलिटी का मतलब बड़े ऑर्गनाइजेशन्स के लिए ज्यादा पॉलिसी डिसीज़न भी है। GitHub दोनों साइड्स को एक साथ पैकेज कर रहा है—इंडिविजुअल डेवलपर को एक स्मूदर रिस्पॉन्स लूप मिलता है, और ऑर्गनाइजेशन को अपने आसपास के एनवायरनमेंट को शेप करने के ज्यादा तरीके मिलते हैं।
NOVA: Linkup Research ने SPARSEUP रिलीज़ किया, एक ओपन-सोर्स स्पार्स एम्बेडिंग मॉडल जिसमें 149 मिलियन पैरामीटर हैं। BEIR-13 पर, एक स्टैंडर्ड रिट्रीवल बेंचमार्क पर, इसने nDCG पर 56.4 स्कोर किया—दस पर—यह माप है कि सबसे रिलेवंट रिज़ल्ट्स टॉप के पास दिखाई देते हैं या नहीं। Linkup इसे वह बेस्ट पब्लिक रिज़ल्ट बुलाता है जो उसकी जानकारी में 150 मिलियन पैरामीटर से कम वाले स्पार्स एनकोडर के लिए है। इसका Apache 2.0 लाइसेंस कमर्शियल यूज़ और मॉडिफिकेशन की अनुमति देता है। Seismic इनवर्टेड इंडेक्स के साथ पेयर्ड होकर, Linkup कहता है कि SPARSEUP कमोडिटी CPU हार्डवेयर पर प्रति क्वेरी लगभग 380 माइक्रोसेकंड में 97% से ज्यादा रिकॉल हासिल करता है।
[ALLOY]: बिना GPU के रिट्रीवल पाथ में 380 माइक्रोसेकंड—यह हैरान करने वाला है। "स्पार्स" यह संभव क्यों बनाता है जब एम्बेडिंग्स का मतलब आमतौर पर बड़े-बड़े न्यूरल नंबर्स के एरेज़ और महंगे सिमिलैरिटी सर्चेस होता है?
NOVA: एक स्पार्स रिप्रेजेंटेशन में ज्यादातर ज़ीरोज़ होते हैं, केवल एक छोटा सेट ऐक्टिव एंट्रीज़ के साथ। यह इनवर्टेड इंडेक्स का सपोर्ट करता है—क्लासिक सर्च स्ट्रक्चर जो टर्म्स को डॉक्यूमेंट्स से मैप करता है—केवल एक क्वेरी की तुलना हर डेंस वेक्टर से करने के बजाय। SPARSEUP लो-रिलेवंस टर्म्स को सप्रेस करने के लिए लॉजिट शिफ्ट का उपयोग करता है, प्रति टोकन केवल बारह हाइएस्ट-स्कोरिंग एक्सपैंशन टर्म्स रखता है, और कैपिटलाइज़ेशन वेरिएंट्स को एक साथ फोल्ड करता है। उसके नीचे ModernBERT है, एक नया टेक्स्ट एनकोडर जो BERT से उतरा है। लक्ष्य है लर्न्ड सेमांटिक रिट्रीवल उस इन्फ्रास्ट्रक्चर सर्च टीम्स के माध्यम से जो पहले से समझती हैं।
[ALLOY]: यह उस अनुमान को वापस धकेलता है कि बेहतर रिट्रीवल के लिए हमेशा बड़े डेंस मॉडल और ज्यादा GPU मेमोरी की जरूरत होती है। रिट्रीवल-ऑगमेंटेड सिस्टम्स एक जवाब के लिए कई सर्चेस जारी कर सकते हैं, इसलिए छोटी-छोटी प्रति-क्वेरी लागतें स्केल पर जुड़ती हैं। बेंचमार्क और लेटेंसी नंबर्स हर प्रोडक्शन कोर्पस का वर्णन नहीं करेंगे, लेकिन पैकेज ठोस है: मॉडरेट साइज़, पर्मिसिव लाइसेंसिंग, एक स्ट्रॉन्ग पब्लिक स्कोर, और CPU-फ्रेंडली सर्विंग। डेंस सर्च नुएंस्ड सेमांटिक मैचिंग के लिए अभी भी मायने रखता है। SPARSEUP तर्क देता है कि स्पार्स रिट्रीवल तकनीकी रूप से महत्वाकांक्षी हो सकता है, सिर्फ एक लेगसी कॉस्ट कम्प्रोमाइज़ नहीं।
NOVA: IEEE Spectrum रिपोर्ट करता है कि OpenAI ने अपने खुद के लार्ज लैंग्वेज मॉडल्स का उपयोग करते हुए एक कस्टम चिप डिज़ाइन की जिसका कोडनेम Jalapeño है। यह एक अच्छा फीडबैक लूप है: जो मॉडल्स भारी मात्रा में कंप्यूट खाते हैं, वे उस हार्डवेयर को डिज़ाइन करने में मदद कर रहे हैं जो संबंधित वर्कलोड्स की सर्विस करने के लिए है। चिप डेवलपमेंट पारंपरिक रूप से स्पेशलिस्ट इंजीनियर्स, इलेक्ट्रॉनिक डिज़ाइन ऑटोमेशन सॉफ्टवेयर, वेरिफिकेशन सिस्टम्स और लंबे मैन्युफैक्चरिंग साइकल्स को कंबाइन करता है। लैंग्वेज मॉडल्स को उस एनवायरनमेंट में लाना सुझाव देता है कि OpenAI एक असामान्य रूप से कठिन इंजीनियरिंग प्रोसेस के हिस्सों को एक्सप्लोर या एक्सेलेरेट करने के लिए अपनी मौजूदा क्षमता का उपयोग कर रहा है।
[ALLOY]: ठीक है, यह वास्तव में वाइल्ड है—लेकिन पब्लिक डीटेल्स पतली हैं। क्या हम जानते हैं कि मॉडल्स ने हार्डवेयर डिस्क्रिप्शन्स लिखने में मदद की, लेआउट एक्सप्लोर किए, वेरिफिकेशन फेलियर्स की जांच की, या परफॉर्मेंस ट्रेड-ऑफ्स में से चुना?
NOVA: हमारे पास नहीं है। रिपोर्टिंग से कोडनेम और OpenAI के आंतरिक मॉडल की भागीदारी स्थापित होती है, लेकिन इससे प्रोसेस नोड, फाउंड्री, परफॉर्मेंस टारगेट, डिलीवरी शेड्यूल, या मॉडल सहायता प्राप्त करने वाले सटीक चरणों का खुलासा नहीं होता। यह यह भी नहीं बताता कि Jalapeño मुख्य रूप से ट्रेनिंग, इंफरेंस, या दोनों के लिए है या नहीं। तो बचाव योग्य दावा उस अनिवार्य हेडलाइन से बहुत संकरा है: OpenAI ने अपने वास्तविक आंतरिक सिलिकॉन प्रयास के दौरान अपने मॉडल का उपयोग किया। हम इसे "AI ने चिप डिज़ाइन की" में बदल नहीं सकते या स्रोत द्वारा दस्तावेज़ न किए गए स्तर की स्वायमता प्रदान नहीं कर सकते।
[ALLOY]: छोटा दावा भी मायने रखता है। OpenAI को अपने वर्कलोड की आकृतियों, मेमोरी आवश्यकताओं और बॉटलनेक्स की सीधी जानकारी है। एक कस्टम चिप कंपनी को उन जरूरतों के अनुसार ऑप्टिमाइज़ करने दे सकती है जनरल-पर्पस एक्सेलेरेटर में हर समझौते को स्वीकार करने के बजाय। डिज़ाइन के दौरान मॉडल का उपयोग करने से एक्सप्लोरेशन साइकिल भी छोटी हो सकती हैं, हालांकि कितनी, इसके लिए तकनीकी खुलासे की जरूरत होगी। व्यापक प्रतिस्पर्धा अब सबसे मजबूत मॉडल को ट्रेन करने के बारे में नहीं है। इसमें ऊर्जा, डेटासेंटर्स, नेटवर्किंग और स्पेशलाइज़्ड सिलिकॉन सुरक्षित करना शामिल है। Jalapeño OpenAI को उस वर्टिकली इंटीग्रेटेड प्रतिस्पर्धा में गहरे ले जाता है। अगली वास्तव में उपयोगी खबर एक स्पेसिफिकेशन, मापा गया रिज़ल्ट, मैन्युफैक्चरिंग पार्टनर, या डिप्लॉयमेंट टाइमलाइन होगी—एक और मसालेदार कोडनेम नहीं, जितना भी मजेदार हो।
NOVA: आर्स टेक्निका रिपोर्ट करता है कि फेडरल रजिस्टर ने अस्थायी रूप से एक ओपन-सोर्स चीनी AI सर्च टूल का उपयोग किया जिसे FBI ने मैलिशियस बताया है। फेडरल रजिस्टर US सरकार के नियमों, नोटिसों और अन्य सार्वजनिक कार्रवाइयों का आधिकारिक दैनिक रिकॉर्ड है, इसलिए वहां सॉफ्टवेयर प्रोवेनेंस का महत्व प्रयोगात्मक साइड प्रोजेक्ट की तुलना में बहुत अधिक है। ओपन सोर्स एडॉप्शन को तेज़ बनाता है: एक संगठन कम्पोनेंट जोड़ सकता है, कॉन्फ़िगर कर सकता है और पारंपरिक एंटरप्राइज़ खरीद की बातचीत किए बिना डिप्लॉय कर सकता है। वही आसानी एक सेंसिटिव सिस्टम को कोड, डिपेंडेंसीज़, नेटवर्क बिहेवियर और मेंटेनेंस डिसीज़न्स को इनहेरिट करने दे सकती है जिनकी जांच पर्याप्त देखभाल से नहीं की गई थी। ओपन लाइसेंस खुद समस्या नहीं है। मुद्दा यह है कि सरकार को समझ में था कि वह क्या ऑपरेट कर रही थी और उस कम्पोनेंट ने एक आधिकारिक सर्विस के अंदर कैसा व्यवहार किया।
[ALLOY]: और हमें "चीनी" से "राष्ट्रीयता के आधार पर मैलिशियस" की ओर कूदने से बचना चाहिए। गंभीर आरोप FBI के उस विशिष्ट टूल के आकलन से आता है, जबकि इंजीनियरिंग चिंता किसी भी थर्ड-पार्टी कम्पोनेंट पर लागू होती है। रिपोर्ट महत्वपूर्ण सवाल खुले छोड़ती है: कौन सा टूल डिप्लॉय किया गया था, यह कितनी देर तक सक्रिय रहा, इस तक क्या जानकारी पहुंच सकती थी, क्या इसने बाहरी रूप से संवाद किया, और इंस्टॉलेशन से पहले क्या रिव्यू हुआ। जब तक वे तथ्य सामने नहीं आते, यह एक वेटिंग ब्रेकडाउन की ओर इशारा करता है, प्रकाशित समझौते का प्रमाण नहीं। फिर भी, सेटिंग इसे असरदार बनाती है। सर्च सॉफ्टवेयर क्वेरीज़, इंडेक्स्ड डॉक्यूमेंट्स, लॉग्स, क्रेडेंशियल्स और आसपास की सर्विसेज़ को छू सकता है। AI कम्पोनेंट्स को साधारण लाइब्रेरीज़ की आसानी से अपनाने वाले गवर्नमेंट संगठनों को उन सिस्टम्स की संवेदनशीलता से मेल खाने वाले प्रोवेनेंस और एक्सेस कंट्रोल्स की जरूरत है।
[ALLOY]: xAI का कहना है कि Grok Voice Transcribe 2.0 अपने पिछले स्पीच-टू-टेक्स्ट मॉडल की तुलना में समान कीमत पर सटीकता को दोगुना करता है। यह एक बोल्ड दावा है। कंपनी ने वास्तव में क्या लॉन्च किया?
NOVA: बैच और स्ट्रीमिंग ट्रांसक्रिप्शन में अब वर्ड-लेवल टाइमस्टैम्प और कॉन्फिडेंस स्कोर, बिना अतिरिक्त शुल्क के स्पीकर सेपरेशन, आठ तक ऑडियो चैनल, और प्रति रिक्वेस्ट सौ तक डोमेन-स्पेसिफिक टर्म्स के लिए की-टर्म बायसिंग शामिल हैं। सर्विस बोले गए नंबर्स और करेंसीज़ को फॉर्मेट कर सकती है, फिलर वर्ड्स हटा सकती है, पता लगा सकती है कि किसने टर्न खत्म किया, भाषाओं को ऑटोमैटिकली पहचान सकती है, और रिकॉर्डिंग के भीतर लैंग्वेज स्विचिंग का फॉलो कर सकती है। xAI का कहना है कि अंडरलाइंग ऑडियो फाउंडेशन मॉडल टेस्ला वाहनों, कस्टमर-सर्विस लाइन्स और फिजिकल प्रोडक्ट्स में वॉयस एक्सपीरियंस को सपोर्ट करता है। मौजूदा स्पीच-टू-टेक्स्ट API इंटीग्रेशन को बिना कोड बदलाव के सुधार मिलना चाहिए। xAI की शॉर्ट-फ्रेज सेट पर—कार में इस्तेमाल होने वाले तरह के छोटे कमांड्स—रिपोर्ट किया गया वर्ड एरर रेट 20.6 पर्सेंट से 6.8 पर्सेंट तक गिरा। आर्टिफिशियल एनालिसिस के पब्लिक लीडरबोर्ड पर, यह बत्तीस स्ट्रीमिंग सिस्टम में सटीकता में पहले नंबर रहा।
[ALLOY]: यह गिरावट भारी है अगर यह इंडिपेंडेंट इस्तेमाल में बनी रहती है। xAI ने प्रोडक्शन-डेराइव्ड टेलीफोन कॉल्स, Grok कन्वर्सेशन्स, बोले गए अकाउंट कोड्स और छोटे मल्टीलिंग्वुअल कमांड्स का भी टेस्ट किया। उसका कहना है कि 2.0 ने चारों में अपने पुराने मॉडल को मात दी और टेलीफोनी पर तुलना किए गए सिस्टम्स में आगे रहा, जहां कंप्रेस्ड ऑडियो, एक्सेंट्स, इंटरप्शन, ईमेल एड्रेसेस और फोन नंबर्स अक्सर फेलियर पैदा करते हैं। वो आंतरिक फिगर्स अभी भी कंपनी के दावे हैं। लेकिन Atlassian Loom ट्रांसक्रिप्शन को मॉडल के थू हरoute कर रहा है, और xAI एक Loom एक्शन प्लान को Cursor कोडिंग वर्कफ़्लो में फीड करते हुए डेमो करता है। प्राइसिंग बैच के लिए दस सेंट प्रति घंटा और स्ट्रीमिंग के लिए बीस सेंट प्रति घंटा बनी हुई है। अगर सटीकता बनी रहती है, तो टाइमस्टैम्प, स्पीकर लेबल, मल्टीचैनल ऑडियो, वोकैबुलरी बायसिंग और टर्न डिटेक्शन मीटिंग कैप्चर, कॉल एनालिसिस, इन-कार कमांड्स और कन्वर्सेशनल एजेंट्स को एक सर्विस के जरिए कवर कर सकते हैं।
NOVA: RAFT पूछता है न केवल यह कि पुराना सपोर्ट केस नए जैसा किसके resembles है, बल्कि यह भी कि वर्तमान समस्या अपने lifecycle में कहाँ पर है। टिकट शिकायत, जाँच, उपचार के प्रयास, नए साक्ष्य, और समाधान के जरिए खुलते हैं। एक नया केस पुराने trajectory के बीच के हिस्से जैसा हो सकता है। RAFT उस matching stage को retrieve करता है और आगे जो हुआ उसे forward लाता है।
[ALLOY]: यह real support work पर बैठता है। दो टिकट अलग से शुरू हो सकते हैं और एक ही underlying fault के दिखने के बाद converge कर सकते हैं। हर एक को एक frozen document मानना उस progression को discard करता है।
NOVA: यह framework cases को timeline entries की chains के तौर पर represent करता है और related cases को link करने वाला similarity graph add कर सकता है। Researchers ने इसे Windows Server के लिए Microsoft Learn material और Apache Jira tickets के साथ evaluate किया। Ordinary retrieval और graph-based baseline के مقابل, RAFT ने case progress के हर stage पर case-hit accuracy improve की, strongest comparison पर statistically significant gains के साथ।
[ALLOY]: Public code और benchmark इसे concept से ज्यादा बनाते हैं। इसका contribution है temporal retrieval: problem जिस state में पहुँची है उससे match करो, फिर relevant past resolution का बाकी हिस्सा retrieve करो ताकि agent को evidence बढ़ जाने के बाद early troubleshooting दोहरानी न पड़े।
NOVA: OpenAI ने अठारह सितंबर को एक Australian Youth Safety Blueprint प्रकाशित किया, जो युवाओं के लिए AI use को safer और ज्यादा empowering बनाने की छह सिद्धांतों (pillars) को प्रस्तुत करता है। Regional focus मायने रखता है क्योंकि governments, schools, parents, और technology companies सभी acceptable youth protections को एक जैसे तरीके से define नहीं करते। OpenAI Australia के लिए एक public framework दे रहा है, youth safety को solely internal policy matter मानने के बजाय।
[ALLOY]: मुझे खुशी है कि subject को elevate किया जा रहा है, लेकिन blueprint product control नहीं है। क्या document में कोई नया ChatGPT feature, age-appropriate default, या enforcement mechanism identify है जो लोग अभी देख सकते हैं?
NOVA: उपलब्ध material में नहीं। Announcement छह-pillar roadmap और उसके Australian focus को establish करती है, लेकिन यह newly shipped age gate, parental control, content filter, या model behavior में बदलाव document नहीं करती। यह speculate करना गलत होगा कि वे features पहले से आ रहे हैं। Blueprint जो accomplish करती है वह direction state करना और regulators तथा institutions को language देना है जिसका उपयोग वे भविष्य के products को judge करते समय कर सकते हैं। यह expectations shape कर सकती है even before implementation details public होते हैं।
[ALLOY]: तो accountability अगले step से आती है। Young users harmful content, emotional dependence, privacy, manipulation, और ऐसी systems से uncertain claims को बहुत confidence के साथ पेश करने जैसे distinct concerns का सामना करते हैं। Credible framework आखिरकार design, enforcement, measurement, और reporting में visible होनी चाहिए। Consumer AI build करने वाली companies के लिए, OpenAI का document baseline question उठाता है: कौन से protections specifically इसलिए exist हैं क्योंकि user एक child हो सकता है, न कि इसलिए क्योंकि product के generic safety rules हैं? Australia region-specific approaches के लिए proving ground भी बन सकता है। Blueprint policy commitment के तौर पर note करने योग्य है, लेकिन उसकी lasting value concrete protections पर depend करेगी जो लोग recognize कर सकें और authorities evaluate कर सकें।
NOVA: Hex GPT-6 Astra का उपयोग करके अपने डेटा एजेंटों के जवाबों को सादे गद्य या कच्ची टेबल की जगह इंटरैक्टिव विज़ुअलाइज़ेशन में बदल रहा है। OpenAI ने इस काम को सोलह सितंबर को प्रमुखता से दिखाया, इस बात पर जोर देते हुए कि लोग चार्ट और छोटी रिपोर्ट सीधे सहकर्मियों के साथ साझा कर सकते हैं। Hex के अनुसार कर्मचारी एजेंटों द्वारा बनाई गई चीज़ों को फैलाने पर गर्व अनुभव करते हैं। यह बेंचमार्क से ज़्यादा नरम लग सकता है, पर प्रस्तुति अक्सर उस विश्लेषण और उस विश्लेषण के बीच का आखिरी अंतर होती है जो निर्णय बदलता है। Hex के एजेंट विश्लेषणात्मक काम करते हैं, जबकि Astra उसी फ्लो के भीतर विज़ुअल परत बनाता है। एक व्यक्ति डेटा संबंधी सवाल पूछता है और परिणाम को अलग चार्टिंग या डिज़ाइन चरण में ले जाने के बिना ही एक इंटरैक्टिव आर्टिफैक्ट प्राप्त करता है।
[ALLOY]: मैं 'शेयर-रेडी' को सिर्फ इसलिए नहीं मानता क्योंकि एक चार्ट दिखता है। फिर भी, क्वेरी और प्रस्तुति के चरणों को एक साथ मिलाना उपयोगी है। यह पूछताछ और संचार के बीच मैन्युअल सफाई को हटाता है और लोगों की डेटा एजेंट से अपेक्षाओं को बढ़ाता है: काम सही नंबर के साथ खत्म नहीं होता, बल्कि उसे ऐसे रूप में व्यक्त करना होता है जिसे दूसरा व्यक्ति जांच सके और चर्चा कर सके। स्रोत चार्ट चयन या हितधारकों की समझ के लिए कोई मापी गई सटीकता दर नहीं देता, इसलिए प्रस्तुतियोग्यता यह सबूत नहीं है कि हर विज़ुअलाइज़ेशन अच्छी है। इंटरैक्टिविटी मानक को और ऊपर उठाती है। जब कोई फ़िल्टर करता है, ड्रिल डाउन करता है, या व्यू बदलता है, तो आर्टिफैक्ट को केवल प्रभावी दिखने के बजाय परिभाषाओं और संबंधों को बनाए रखना चाहिए। Hex तर्क दे रहा है कि पॉलिश एजेंट की ज़िम्मेदारी में शामिल होनी चाहिए। अगर यह सही है, तो डेटा एजेंट गणना और यह दोनों पर प्रतिस्पर्धा करेंगे कि उनका आउटपुट अगली बैठक में टिक पाता है या नहीं।
NOVA: TypeSafe ने सोलह सितंबर को Jev जारी किया और इसे System One Model कहा, तेज़ और स्वचालित निर्णय के लिए यह लेबल उधार लिया। Jev जानबूझकर संकीर्ण है: यह निर्णय लेता है, वर्गीकृत करता है, रूट करता है और स्कोर करता है। यह चैट करने, गद्य बनाने, या विस्तारित तर्क देने के लिए नहीं बनाया गया है। TypeSafe का दावा है कि यह समान ट्रिएज कार्य करने वाले छोटे फ्रंटियर लैंग्वेज मॉडलों से सौ गुना तेज़ चलता है और दो सौ गुना से अधिक सस्ता है। ये कंपनी के आंकड़े हैं, इसलिए बाहरी उपयोगकर्ता उन्हें दोहराएंगे तब तक ये दावे ही रहेंगे।
[ALLOY]: लेकिन संकीर्णता ही रोमांचक विकल्प है। प्रोडक्शन सिस्टम सामान्य-उद्देश्य मॉडलों से छोटे-छोटे सवाल पूछकर बहुत पैसा खर्च करते हैं: यह कौन सा इंटेंट है? इसे किस एजेंट को मिलना चाहिए? क्या यह अनुरोध किसी विशेष श्रेणी में आता है? क्या यह ड्राफ्ट भेजने योग्य है? एक विशेषज्ञ को सुंदर स्पष्टीकरण लिखने की ज़रूरत नहीं है अगर केवल उपयोगी आउटपुट रूट या स्कोर है।
NOVA: बिल्कुल। Jev हर निर्णय के पीछे एक छोटे जनरलिस्ट को रखने की आदत को चुनौती देता है। एक रूटिंग लेयर कई महंगे एजेंटों के सामने बैठ सकती है और चुन सकती है कि कौन सा अनुरोध संभाले। एक क्लासिफायर किसी भी जेनरेटिव मॉडल को देखने से पहले इनकमिंग काम को टैग कर सकता है। अगर TypeSafe की स्पीड और कीमत के आंकड़े असली डिप्लॉयमेंट में बने रहते हैं, तो Jev विलंबता और उन निर्णयों पर खर्च होने वाले महंगे टोकन की संख्या दोनों को कम कर सकता है जिन्हें जनरेशन की ज़रूरत ही नहीं थी। सटीकता अभी भी मायने रखती है: एक सस्ता रूटर जो बार-बार काम गलत गंतव्य पर भेजता है, सिर्फ लागत को नीचे खिसकाता है। लेकिन Jev का प्रस्ताव सुखद रूप से विशिष्ट है। यह हर चीज़ में बुद्धिमान होने का दावा नहीं करता। यह दावा करता है कि एक सीमित मॉडल सीमित निर्णयों को कहीं अधिक कुशलता से ले सकता है।
[ALLOY]: वर्ल्ड-मॉडल कंपनियां पैसा जुटा रही हैं और ध्यान आकर्षित कर रही हैं, लेकिन इस बात का खुलासा कम कर रही हैं कि वे क्या बना सकती हैं। TechCrunch की रिपोर्ट के अनुसार फाउंडर्स आर्किटेक्चर, ट्रेनिंग-डेटा संरचना, या निकट-अवधि उत्पादों के बारे में ज़्यादा बात नहीं करते, जबकि डेटा सप्लायर्स भी अक्सर नहीं बता पाते कि वे किन लैब्स को सेवा देती हैं। कितनी गोपनीयता समझ में आती है, और कब इससे पिच की विश्वसनीयता कम होनी चाहिए?
NOVA: कुछ गोपनीयता सामान्य प्रतिस्पर्धा है। एक वर्ल्ड मॉडल वातावरण के व्यवहार को दर्शाता है ताकि एक सिस्टम परिवर्तनों की भविष्यवाणी कर सके, परिणामों का अनुकरण कर सके, या एम्बॉडीड एजेंट को कार्य करने में मदद कर सके। प्रशिक्षण सामग्री में वीडियो, सेंसर स्ट्रीम, भौतिक ट्रैजेक्टरी, और कार्यों एवं परिणामों के रिकॉर्ड शामिल हो सकते हैं। लैब्स उस संरचना और उनकी सीखने की विधियों को बौद्धिक संपदा मानती हैं, जबकि सप्लायर्स को गोपनीयता समझौते का सामना करना पड़ सकता है। लेकिन ग्राहकों और शोधकर्ताओं के पास भौतिक सक्षमता, डोमेन सीमाओं, या यह आकलन करने के लिए पर्याप्त जानकारी नहीं है कि क्या एक परिष्कृत डेमो अपने तैयार वातावरण से बाहर सामान्यीकृत करता है। फंडिंग निवेशकों की रुचि दर्शाती है; यह साबित नहीं करता कि मॉडल दुनिया को समझता है।
[ALLOY]: सही, और इन मॉडलों में ठोस वादे हैं। रोबोटिक्स, सिमुलेशन, गेम्स, औद्योगिक योजना, और स्वायत्त प्रणालियों को चाहिए कि वस्तुएं कैमरा हिलने या एजेंट के कार्य करने के बाद भी बाधाओं का पालन करती रहें। एक शानदार जेनरेटेड वीडियो स्वचालित रूप से एक विश्वसनीय भौतिक सिमुलेटर नहीं होता। बिना सार्वजनिक तरीकों, डेटा, या मूल्यांकन के, सार्वजनिक प्रदर्शन अधिक महत्व रखते हैं और उन्हें असफलता को उजागर करने के लिए पर्याप्त स्वतंत्रता चाहिए, न कि एक रिहर्स्ड क्रम की पुष्टि करने के लिए।
NOVA: पारदर्शिता की कमी तुलना को कठिन बनाती है। दो वेंडर "वर्ल्ड मॉडल" कह सकते हैं जबकि एक विज़ुअल फ्यूचर जेनरेट करता है, दूसरा एक कंट्रोलेबल सिम्युलेटर देता है, और तीसरा रोबोट पॉलिसी पर फोकस करता है। जब तक लैब्स तकनीकी काम पब्लिश नहीं करते या मतलबबह अक्सेस नहीं देते, खरीदारों से कहा जा रहा है कि वे कैपेबिलिटी का अनुमान कैपिटल रेज़्ड और दिखाए गए क्लिप्स से लगाएं। स्पैशियल इंटेलिजेंस और लर्न्ड सिम्युलेशन बड़े कंप्यूटिंग प्लेटफॉर्म बन सकते हैं, लेकिन सेक्टर को अपने दावों के अनुपात में सबूत चाहिए—खासकर फिजिकल वर्ल्ड से इंटरैक्ट करने वाली मशीनों के लिए।
NOVA: Baseten ने अपने Base Labs रिसर्च ग्रुप के जरिए एक सेफ्टी-इन्फ्रास्ट्रक्चर स्टैंडर्ड पेश किया, जो ओपन-वेट मॉडल्स के लिए इवैल्यूएशन और मॉनिटरिंग पर Hugging Face और Goodfire AI के साथ काम कर रहा है। यह एलान एब्लिटरेटेड मॉडल्स—मॉडल्स जिन्हें रिफ्यूज़ल बिहेवियर कमज़ोर करने या हटाने के लिए बदला गया है—की चिंता के बीच आया है। Baseten की यह पहल एक कंपनी पॉलिसी पहल है, कानून नहीं, और सामग्री यह स्थापित नहीं करती कि Hugging Face ने व्यापक रूप से उन मॉडल्स पर प्रतिबंध लगाया है या अपने प्लेटफॉर्म पर एक्सेस नियम बदले हैं।
[ALLOY]: यह अंतर महत्वपूर्ण है। ओपन वेट्स लोगों को अपने इन्फ्रास्ट्रक्चर पर मॉडल का निरीक्षण, एडेप्ट और रन करने देते हैं। वही कंट्रोल वैल्यूएबल कस्टमाइज़ेशन का समर्थन कर सकता है या सेफगार्ड्स को स्ट्रिप करने के लिए उपयोग किया जा सकता है। रिस्ट्रिक्टेड फ्रंटियर मॉडल्स प्रोवाइडर के कंट्रोल में रहते हैं partly because वेंडर्स अनरेस्ट्रिक्टेड वेट्स को सिक्योरिटी चिंता के रूप में देखते हैं। पार्टनरशिप से पता चलता है कि बड़ी इन्फ्रास्ट्रक्चर कंपनियां सेफ्टी को मापने और मॉनिटर करने के आम तरीके चाहती हैं, बिना यह झूठा दिखावा किए कि ओपन मॉडल्स को बिल्कुल क्लोज़्ड APIs की तरह गवर्न किया जा सकता है।
NOVA: मैं इस एलान को यह साबित करने के रूप में पढ़ने का विरोध करूंगा कि Hugging Face किसी पूरे कैटेगरी के "खिलाफ" जा रहा है। सेफ्टी स्टैंडर्ड होस्टिंग, डॉक्यूमेंटेशन, इवैल्यूएशन, या डिप्लॉयमेंट फैसलों को प्रभावित कर सकता है, लेकिन एलान उनमें से किसी भी प्लेटफॉर्म बदलाव को स्थापित नहीं करता। जो मौजूद है वह एक बताया गया दिशा है: ओपन-वेट सिस्टम्स के आसपास शेयर्ड इवैल्यूएशन और मॉनिटरिंग इन्फ्रास्ट्रक्चर बनाएं। यह मतलबपूर्ण है, लेकिन यह प्रतिबंध नहीं है।
[ALLOY]: और केंद्रीय तनाव बना हुआ है। ओपननेस इंडिपेंडेंट रिसर्च, लोकल यूज़, कस्टमाइज़ेशन, और वेंडर के बाहर स्क्रूटनी का समर्थन करता है। इसका मतलब यह भी है कि ओरिजिनल डेवलपर डाउनस्ट्रीम मॉडिफिकेशन्स पर पूरी तरह कंट्रोल नहीं रख सकता। Baseten, Hugging Face, और Goodfire सेफ्टी इन्फ्रास्ट्रक्चर जोड़ने की कोशिश कर रहे हैं बिना उस ओपननेस को हटाए जो इन मॉडल्स को वैल्यूएबल बनाती है। असली लाइसेंस कंडीशन्स, प्लेटफॉर्म पॉलिसीज़, इवैल्यूएशन रिक्वायरमेंट्स, या एक्सेस बदलाव हमें बताएंगे कि यह पहल कितनी दूर पहुंचती है। फिलहाल, यह एक महत्वपूर्ण पॉलिसी मूव है—यह सबूत नहीं कि कोई रिपॉजिटरी गायब हो गया है या वेट्स की पूरी क्लास पर प्रतिबंध लगा दिया गया है।
NOVA: एक नया पेपर जांच करता है कि टर्नरी लैंग्वेज मॉडल्स परिचित 1.58-बिट रिप्रेजेंटेशन से आगे कैसे बढ़ सकते हैं। टर्नरी वेट्स तीन संभावित वैल्यूज़ का उपयोग करते हैं—नेगेटिव वन, ज़ीरो, और पॉज़िटिव वन—जो पारंपरिक फ्लोटिंग-पॉइंट वेट्स की तुलना में स्टोरेज और अरिथमेटिक को नाटकीय रूप से कम कर सकते हैं। 1.58 का आंकड़ा तीन समान रूप से संभावित स्थितियों को दर्शाने के लिए आवश्यक सैद्धांतिक जानकारी से आता है। व्यवहार में, वह साफ़ नंबर एक इन्फॉर्मेशन लिमिट का वर्णन करता है, हर इम्प्लीमेंटेशन द्वारा ऑक्यूपाइड सटीक मेमोरी को स्वचालित रूप से नहीं। मॉडल्स को अभी भी पैकिंग स्कीम्स, स्केल्स, मेटाडेटा, एक्टिवेशन, और हार्डवेयर कर्नेल्स की जरूरत है जो कंप्रेस्ड वेट्स को यूज़फुल कंप्यूटेशन में बदल सकें। इसीलिए पेपर पर ब्रेकथ्रू तुरंत एक लैपटॉप पर फ्रंटियर-स्केल मॉडल को फुल स्पीड पर चलाने में अनुवादित नहीं होता।
[ALLOY]: बिल्कुल—और मुझे यह रिसर्च दिशा पसंद है क्योंकि यह न केवल मशीन सर्विंग की लागत, बल्कि मॉडल की खुद की लागत पर हमला करती है। अगर वेट्स तीन वैल्यूज़ के साथ यूज़फुल रह सकते हैं, तो मेमोरी ट्रैफिक गिरता है और मल्टीप्लिकेशन बहुत सरल हो सकता है। यह लोकल इंफरेंस, एज डिवाइसेस, और डेटासेंटर्स के लिए मायने रख सकता है जहां वेट्स को मूव करने में समय और ऊर्जा खर्च होती है। लेकिन उपलब्ध सबूत इस पेपर के लिए दावा किया गया स्पीडअप, हार्डवेयर रिज़ल्ट, क्वालिटी गेन, या प्रोडक्शन डिप्लॉयमेंट का समर्थन नहीं करते। "बैरियर तोड़ना" एक बेहतर एनकोडिंग या उन टर्नरी स्टेट्स के अलग उपयोग को दर्शा सकता है; यह हमें बेंचमार्क जीत का आविष्कार करने की अनुमति नहीं देता। ईमानदार निष्कर्ष यह है कि रिसर्चर्स अभी भी सवाल कर रहे हैं कि लैंग्वेज मॉडल्स को वास्तव में कितनी कम न्यूमेरिकल प्रिसीजन की जरूरत है। यह मॉडल स्टोरेज और एक्सेलेरेटर डिज़ाइन को फिर से आकार दे सकता है, लेकिन यह एक शिपिंग स्पेसिफिकेशन के बजाय एक वादे वाली तकनीकी दिशा बनी हुई है।
NOVA: माइक्रोसॉफ्ट की Azure Kubernetes Service इंजीनियरिंग टीम ने TauGrid को ओपन-सोर्स किया, जो Kubernetes पर GPU-भारी AI कार्य के लिए एक स्टैक है। यह tau कमांड-लाइन टूल, जॉब क्वूइंग के लिए Kueue, डिस्ट्रिब्यूटेड Ray वर्कलोड के लिए KubeRay, GPU-नोड हेल्थ मॉनिटरिंग, और एक Helm इंस्टॉलेशन में ऑब्ज़र्वेबिलिटी को जोड़ता है। Helm कुबेरनेट्स घटकों को इंस्टॉलेशन और प्रबंधन के लिए पैकेज करता है। TauGrid MIT लाइसेंस का उपयोग करता है और संस्करण 1.30 या बाद के Kubernetes क्लस्टर को GPU नोड्स, kubectl, और Helm 3 या नए के साथ टारगेट करता है।
[ALLOY]: यह पैकेजिंग इसलिए मायने रखती है क्योंकि साझा GPU इन्फ्रास्ट्रक्चर किसी भी मॉडल को चलाने से पहले एक सिस्टम्स की समस्या बन जाती है। महंगे एक्सेलरेटर्स को कतारों, हेल्थ जानकारी, शेड्यूलिंग, और यह दृश्यता की जरूरत है कि विफलताएं कोड, क्षमता, या खराब नोड से आती हैं या नहीं। Kueue बैच वर्कलोड के लिए एडमिशन और क्वूइंग संभालता है। KubeRay Ray पर बने एप्लिकेशन प्रबंधित करता है, जो मॉडल ट्रेनिंग और इन्फरेंस के लिए उपयोग किया जाने वाला डिस्ट्रिब्यूटेड-कम्प्यूटिंग फ्रेमवर्क है। GPU-नोड मॉनिटरिंग इसलिए मायने रखती है क्योंकि एक Kubernetes नोड जिंदा दिख सकता है जबकि एक एक्सेलरेटर अनुपलब्ध या डिग्रेडेड हो। TauGrid उन टुकड़ों को एक सुसंगत शुरुआती बिंदु में इकट्ठा करता है इसके बजाय कि हर प्लेटफॉर्म टीम एक ही इंटीग्रेशन करे।
NOVA: और, ईमानदारी से, "Kubernetes-native" हेटेरोजीनियस GPU फ्लीट्स को जादुई रूप से सरल नहीं बनाता। माइक्रोसॉफ्ट घटकों और डिप्लॉयमेंट आवश्यकताओं को डॉक्यूमेंट करता है, लेकिन व्यापक प्रदर्शन या यूनिवर्सल-कम्पैटिबिलिटी के दावे नहीं। जो इसका मतलब है वह है कि सिस्टम Kubernetes ऑब्जेक्ट्स और कंट्रोल पैटर्न के माध्यम से काम करता है। संगठन ट्रेनिंग, बैच इन्फरेंस, एवैल्यूएशन, और डिस्ट्रिब्यूटेड एप्लिकेशन के लिए साझा एक्सेलरेटर पूल का उपयोग कर सकते हैं बिना खाली क्लस्टर से शुरू किए। समन्वित कतारें एक वर्कलोड को मूक रूप से दुर्लभ हार्डवेयर पर एकाधिकार करने से भी रोकती हैं जबकि दूसरा इंतजार करता है। TauGrid एक खुला, अनुकूलनीय फाउंडेशन प्रदान करता है, और MIT लाइसेंस संगठनों के लिए इसे संशोधित करने की गुंजाइश छोड़ता है। माइक्रोसॉफ्ट ने स्थापित Kubernetes और Ray घटकों को इकट्ठा किया है, GPU हेल्थ और दृश्यता जोड़ी है, और एक और स्टाइलिश आर्किटेक्चर डायग्राम के बजाय एक डिप्लॉयबल स्टैक शिप किया है।
NOVA: तीन रिपॉजिटरीज बकाया हैं। HKUDS का nanobot में 48,348 स्टार्स हैं, तीस दिनों में 1,183 की वृद्धि, और सितंबर पंद्रह को .3.5 रिलीज हुआ। यह एक हल्का, सेल्फ-होस्टेड Python एजेंट है जिसमें वेब इंटरफेस, मेमोरी, टूल्स, ऑटोमेशन, चैट कनेक्शन, मल्टी-एजेंट वर्कफ्लोज़, और MCP सपोर्ट है। यह इसे एक अलग-थलग टूल के बजाय एक व्यापक पर्सनल-एजेंट शेल बनाता है।
[ALLOY]: Codebase Memory MCP और Blender के लिए MCP उस टूल सतह के दो बहुत अलग छोर दिखाते हैं। Codebase Memory MCP ने तीस दिनों में 4,309 जोड़ने के बाद 43,794 स्टार्स पर पहुंच गया—10.9 प्रतिशत वृद्धि—और सितंबर पंद्रह को .11 शिप किया। यह 158 भाषाओं में पर्सिस्टेंट कोड नॉलेज ग्राफ बनाता है और मेजर टोकन सेविंग्स के साथ सब-मिलीसेकंड क्वेरीज़ का दावा करता है। Blender के लिए MCP 28,983 स्टार्स पर ट्रैकिंग में प्रवेश करता है और भाषा मॉडल्स को Blender सीन्स कंट्रोल करने देता है। एक एजेंट्स को सॉफ्टवेयर स्ट्रक्चर समझने में मदद करता है; दूसरा उन्हें विज़ुअल क्रिएशन एनवायरनमेंट में कार्य करने देता है।
NOVA: वह संयोजन मजेदार हिस्सा है। Nanobot एजेंट वर्कफ्लोज़ होस्ट कर सकता है, Codebase Memory किसी रिपॉजिटरी के बारे में कॉम्पैक्ट स्ट्रक्चरल कॉन्टेक्स्ट प्रदान कर सकता है, और Blender का इंटीग्रेशन एक मॉडल को 3D कार्य में रास्ता देता है। MCP ज्ञान पुनर्प्राप्ति से सीधे एप्लिकेशन कंट्रोल की ओर फैल रहा है। सबसे मजबूत ट्रैक्शन उन टूल्स के आसपास इकट्ठा हो रहा है जो मॉडल्स को डurable स्टेट या असली सॉफ्टवेयर से जोड़ते हैं—एक और खाली चैट विंडो नहीं।
[ALLOY]: मॉडल प्रगति एक विशिष्ट नए जनरल-पर्पस फैमिली के बजाय स्पेशलाइज्ड वेरिएंट्स में आई। PrismML का Ternary Bonsai 2 27B रीज़निंग, कोडिंग, गणित, टूल यूज़, और इमेज अंडरस्टैंडिंग के लिए 262,144-टोकन कॉन्टेक्स्ट ऑफर करता है। Z.ai का GLM 5.3 FlashX 1,048,576 टोकन तक फैलता है और दो सौ टोकन प्रति सेकंड तक की स्पीड का दावा करता है। दोनों OpenRouter के माध्यम से उपलब्ध हैं।
NOVA: DeepSeek-V4.1-Flash एक MIT-लाइसेंस प्राप्त खुला मॉडल है जो टेक्स्ट जनरेशन और इमेज-टू-टेक्स्ट कार्य के लिए ध्यान आकर्षित कर रहा है। इसके Hugging Face पेज पर 3,239 लाइक और 482,000 से अधिक डाउनलोड हैं, साथ ही Transformers और safetensors सपोर्ट, एंडपॉइंट कम्पैटिबिलिटी, मूल्यांकन परिणाम, और आठ-बिट तथा FP8 सहित वेट फॉर्मेट शामिल हैं। “Flash” नाम कुशल जवाब पर जोर देता है, लेकिन उपलब्ध विवरण किसी विशिष्ट विलंबता या हार्डवेयर परिणाम की पुष्टि नहीं करते।
[ALLOY]: जो बात खास है वह है एक परमिशन देने वाले लाइसेंस के तहत संयुक्त विज़ुअल और टेक्स्टुअल सतह। इससे स्थानीय और सेल्फ-होस्टेड सिस्टम को दस्तावेज़ इमेज, स्क्रीनशॉट और सामान्य भाषा कार्यों के लिए एक ही मॉडल परिवार मिलता है, जबकि प्रकाशित वेट फॉर्मेट संभावित हार्डवेयर रेंज को बढ़ाते हैं। मेमोरी आवश्यकताएँ और संदर्भ सीमाएँ मॉडल कॉन्फ़िगरेशन और रनटाइम पर निर्भर करती हैं, लेकिन वे अपनाने के आंकड़े शुरुआती दिलचस्पी को दर्शाते हैं।
[ALLOY]: AINews ने Jev को एक System One Model के रूप में प्रस्तुत किया है जो केवल निर्णय लेता है, वर्गीकृत करता है, रूट करता है और स्कोर करता है, जिसमें TypeSafe के दावे शामिल हैं कि यह छोटे फ्रंटियर मॉडलों की तुलना में सौ गुना से अधिक तेज़ और दो सौ गुना से अधिक सस्ता है। TechCrunch का “ChatGPT के आविष्कारक द्वारा बनाया गया एक नया प्रकार का AI मॉडल डेवलपर्स को रोमांचित कर रहा है” उसी विकास को अपनाने की दृष्टि से देखता है: विशेष सॉफ्टवेयर बुद्धिमत्ता का ध्यान आकर्षित हो रहा है क्योंकि सस्ते निर्णय महंगे जनरेशन से पहले आ सकते हैं।
NOVA: इस बीच, “World model companies are keeping a lot of secrets” विपरीत बाजार रुख का वर्णन करता है—बड़ी फंडिंग और व्यापक महत्वाकांक्षाएँ, लेकिन प्रयोगशालाओं और उनके डेटा प्रदाताओं की ओर से सीमित खुलासा। इन्हें एक साथ रखें तो कंट्रास्ट स्पष्ट है: Jev एक संकीर्ण दावा पेश करता है जिसे लोग माप सकते हैं, जबकि वर्ल्ड-मॉडल कंपनियाँ बाजार से बहुत बड़े दावों को बहुत कम सार्वजनिक पहुँच के साथ मानने को कह रही हैं। विशिष्टता डेवलपर रुचि प्राप्त कर रही है।
NOVA: हमने जो कुछ भी कवर किया उसके पीछे के स्रोतों और विवरण के लिए Toby On Fitness Tech dot com पर शो नोट्स देखें।
[ALLOY]: AgentStack Daily सुनने के लिए धन्यवाद। हम जल्द ही वापस आएँगे।