Qwen 3.6 27B मिश्रित RTX हार्डवेयर पर 80 टोकन/सेकंड, Codex OSS के लिए खुला, Fable 5 निलंबित

[NOVA]: मैं NOVA हूँ।

[ALLOY]: मैं ALLOY हूँ, और यह AgentStack Daily है...

[NOVA]: आज AgentStack Daily पर: बिल्डर्स मिसमैच्ड कंज्यूमर कार्ड्स पर 27 बिलियन-पैरामीटर मॉडल को 80 टोकन प्रति सेकंड पर चला रहे हैं, OpenAI ने हाल ही में open-source मेन्टेनर्स के लिए Codex एक्सेस का अनुरोध करने हेतु एक सिंगल फ्रंट डोर खोला है, और एक Hacker News थ्रेड पूछ रहा है कि LLM-जनरेटेड Tailwind कोड अब खुद को एक पहचान-योग्य टेम्पलेट सिग्नेचर में फिंगरप्रिंट करने लगा है। हम Claude Fable के एजेंट लूप में बढ़ते प्रोएक्टिव व्यवहार पर एक गर्मजोशी बहस को भी ट्रैक कर रहे हैं, एक Wall Street Journal रिपोर्ट जो Amazon के CEO को एक संघीय निर्देश से जोड़ती है जिसने Fable 5 और Mythos 5 को सरकारी पहुँच से हटा दिया, और एक स्वतंत्र बेंचमार्क जो Fable 5 के कोडिंग प्रदर्शन को लीडरबोर्ड के मध्य स्तर में रखता है।

[ALLOY]: लोकल इंफरेंस की ओर यह आंदोलन नई परिपक्वता के स्तर पर पहुँच रहा है, जिसमें मिसमैच्ड कंज्यूमर कार्ड्स को जोड़कर परस्पर गति से बड़े मॉडल चलाने की कॉन्फ़िगरेशन हो रही हैं। जब आप मौजूदा-जनरेशन और पिछली-जनरेशन सिलिकॉन के मिश्रण से 27 बिलियन-पैरामीटर मॉडल पर 80 टोकन प्रति सेकंड बनाए रख सकते हैं, तो हाई-कैपेबिलिटी एजेंट्स को ऑन-प्रिमिसिस चलाने का अवरोध मूलतः गायब हो जाता है। साथ ही, OpenAI आखिरकार open-source प्रोजेक्ट्स के लिए प्रोक्योरमेंट बॉटलनेक को दूर करते हुए टर्मिनल-आधारित कोडिंग एजेंट Codex के लिए एक समर्पित इनटेक लॉन्च कर रहा है, जो बताता है कि वे मेन्टेनर इकोसिस्टम को कैसे देखते हैं।

[NOVA]: हम बिल्डर समुदाय में एजेंटिक लूप्स के व्यवहार के बारे में एक महत्वपूर्ण बहस को भी ट्रैक कर रहे हैं। जब मॉडल जैसे Claude Fable "निरंतर सक्रिय" बन जाते हैं, तो सहायक स्वायत्तता और अनुरोधित संशोधन के बीच की रेखा धुंधली हो जाती है। इसके गहरे प्रभाव हैं कि हम रिव्यू इंटरफेस और सैंडबॉक्स सीमाओं को कैसे डिज़ाइन करते हैं। यदि कोई एजेंट स्पष्ट प्रॉम्प्ट के बिना रिपॉजिटरी को रिफैक्टर करना या टेस्ट सुइट्स चलाना शुरू कर देता है, तो डेवलपर की भूमिका चालक से एक चल रही प्रक्रिया के पर्यवेक्षक में बदल जाती है। हमारे पास एक घनी सूची है, जिसकी शुरुआत लोकल इंफरेंस थ्रूपुट में हुए ब्रेकथ्रू से होती है। ...

[ALLOY]: imil.net पर एक विस्तृत तकनीकी पोस्ट ने स्थानीय LLM समुदाय का ध्यान खींचा है, जिसमें एक हेटेरोजीनियस ड्यूल-GPU कॉन्फ़िगरेशन का दस्तावेज़ीकरण है जो कंज्यूमर हार्डवेयर पर एंटरप्राइज़-ग्रेड थ्रूपुट प्राप्त करता है। सेटअप RTX 5080 को RTX 3090 के साथ जोड़कर Qwen 3.6 27B को 8-bit क्वांटिज़ेशन पर चलाता है, जो 80 टोकन प्रति सेकंड से अधिक बनाए रखता है। यह एक महत्वपूर्ण मील का पत्थर है क्योंकि इससे पता चलता है कि बिल्डर्स को 30-बिलियन-पैरामीटर क्लास के मॉडल पर हाई-स्पीड इंफरेंस हासिल करने के लिए A100 या H100 जैसे यूनिफाइड हाई-VRAM एक्सेलेरेटर की ज़रूरत नहीं है।

[NOVA]: यहाँ की तकनीकी व्यवस्था एक साफ टेंसर-पैरेल लेयर स्प्लिट है। इस कॉन्फ़िगरेशन में, Qwen मॉडल के ट्रांसफॉर्मर लेयर्स दोनों कार्ड्स की उपलब्ध VRAM में वितरित होते हैं। क्योंकि 5080 और 3090 का संयुक्त मेमोरी पूल काफी बड़ा है, संपूर्ण Q8 क्वांटाइज़्ड पेलोड आराम से फिट हो जाता है, जिसमें बड़े KV cache के लिए पर्याप्त हेडरूम है। इंफरेंस एक llama.cpp जैसे बैकएंड पर चलता है, जहाँ रनटाइम प्रत्येक GPU को लेयर्स का एक निरंतर ब्लॉक असाइन करता है। इससे सिस्टम मेमोरी में वेट्स को इन-आउट स्वैप करने की आवश्यकता नहीं होती, जो स्थानीय इंफरेंस प्रदर्शन का मुख्य कारण होती है।

[ALLOY]: इस तरह के सेटअप में बॉटलनेक आमतौर पर PCIe होस्ट बैंडविड्थ होती है। enterprise सेटअप जो NVLink या Infinity Fabric का उपयोग हाई-स्पीड इंटर-GPU संचार के लिए करते हैं, के विपरीत, इन कंज्यूमर कार्ड्स को मदरबोर्ड के PCIe बस के ज़रिए एक्टिवेशन टेंसर्स भेजने पड़ते हैं। हर बार जब मॉडल पहले कार्ड पर लेयर्स को प्रोसेस करना समाप्त करता है, परिणामी डेटा को दूसरे कार्ड पर पास जारी रखने के लिए ट्रांसफर करना होता है। हालाँकि, 8-bit क्वांटिज़ेशन पर, उन एक्टिवेशन टेंसर्स का आकार इतना छोटा होता है कि PCIe ओवरहेड सिस्टम को 80 टोकन प्रति सेकंड का लक्ष्य हासिल करने से नहीं रोकता। संदर्भ के लिए, अधिकांश मानव पाठक लगभग 5 से 10 टोकन प्रति सेकंड की गति से पाठ उपभोग करते हैं, इसलिए यह सेटअप इंटरैक्टिव उपयोग के लिए प्रभावी रूप से तात्कालिक अनुभव प्रदान करता है।

[NOVA]: बिल्डर्स इसे पुराने हार्डवेयर को पुनः उपयोग में लाने के लिए एक ब्लूप्रिंट के रूप में देख रहे हैं। RTX 3090 अपने 24 गीगाबाइट VRAM के कारण समुदाय में पसंदीदा बना हुआ है, और इसे 5080 जैसे नए, तेज़ कार्ड के साथ जोड़ने से सिस्टम को नए कार्ड की कंप्यूट शक्ति का लाभ मिलता है जबकि पुराने कार्ड की क्षमता का उपयोग होता है। Q8 क्वांटिज़ेशन यहाँ मुख्य ट्रेड-ऑफ है; जबकि यह मेमोरी फुटप्रिंट को काफी कम करता है और गति बढ़ाता है, पूर्ण 16-bit प्रिसिजन मॉडल की तुलना में तर्क गुणवत्ता पर मापनीय, भले ही अक्सर हल्का, प्रभाव पड़ता है। एजेंटिक वर्कफ़्लो के लिए जहाँ गति और प्रति-टोकन लागत प्राथमिक सीमाएँ हैं, यह ट्रेड-ऑफ कई लोग करने को तैयार हैं।

[ALLOY]: व्यापक निहितार्थ यह है कि "मिसमैच्ड" रिग की व्यवहार्यता बनी हुई है। हम मॉडल रनर्स में इन हेटेरोजीनियस पूल्स को संभालने के लिए अधिक परिष्कृत लॉजिक देख रहे हैं। यह अवलोकन है कि जब तक आप संयुक्त VRAM में मॉडल फिट कर सकते हैं, सिलिकॉन की विशिष्ट पीढ़ी कम मायने रखती है, क्योंकि कुल मेमोरी बैंडविड्थ और स्लॉट की PCIe वर्शन अधिक महत्वपूर्ण होती है। यह डेवलपर्स के लिए पाँच-अंकों की हार्डवेयर लागत के बिना शक्तिशाली स्थानीय एजेंट स्टैक बनाने का एक रास्ता साबित करता है। ...

[NOVA]: OpenAI ने open-source maintainers के लिए terminal-based coding agent Codex तक access का अनुरोध करने का एक नया landing page और intake form launch किया है। यह move समुदाय में एक लंबे समय से चली आ रही problem को address करता है - जहां popular projects के maintainers को generally standard API credits या patchwork community programs पर depend करना पड़ता था ताकि वे high-end coding models को अपने development workflow में integrate कर सकें।

[ALLOY]: यह note करना जरूरी है कि यह एक procurement-layer change है, technical release नहीं। इस announcement से कोई नया API endpoints, runtime changes, या SDK updates नहीं जुड़े हैं। सिर्फ एक gated signup form है जो repository details, contribution history, और intended use case मांगता है। OpenAI essentialy OSS ecosystem के लिए एक "front door" setup कर रहा है, likely यह data gather करने के लिए कि agents large-scale collaborative projects में कैसे use हो रहे हैं, साथ ही उन लोगों को necessary capacity provide करता है जो software stack की foundations build कर रहे हैं।

[NOVA]: Hacker News पर इस intake के बारे में discussion mainly eligibility और quotas की lack of transparency पर centered है। क्योंकि terms public नहीं हैं, यह unclear है कि यह higher rate limit unlock करता है, specific model versions के लिए free tier, या experimental features तक access जो general public के लिए available नहीं हैं। जब तक maintainers approvals receive करना शुरू नहीं करते, हमें form को waitlist की तरह treat करना होगा। हालांकि, एक maintainer के लिए जो API credits scrape कर रहा था automated test generation या PR reviews run करने के लिए, support request करने का एक official path होना पिछली status quo से एक major improvement है।

[ALLOY]: Agentic workflow perspective से देखें, तो यह आज आपके stack configure करने के तरीके को नहीं बदलता। अगर आप पहले से Codex-based agent run कर रहे हैं, तो आपका session logic और payload schemas same रहते हैं। "Codex for Open Source" initiative उन लोगों के लिए economic barrier lower कर रही है जो libraries maintain करते हैं जो हम सब use करते हैं। यह देखना interesting होगा कि इस program में eventually fine-tuning capabilities या specialized context windows शामिल होते हैं या नहीं जो specific languages के लिए tailored हैं। अभी के लिए, किसी भी builder के लिए practical move जो significant open-source project maintain कर रहा है वह है अपने repository metrics ready करना और form submit करना। ...

[NOVA]: Brian Douglas का एक piece AI-generated UI पर "statistical convergence" के बारे में एक technical debate sparked कर रहा है। Core observation यह है कि LLM-generated Tailwind code एक recognizable "fingerprint" exhibit करना शुरू कर रहा है - utility class clusters और layout patterns की एक narrow band जो thousands of different AI-built applications में appear होती है। इसने "slop apps" term को lead किया है, जो software को refer करता है जो generic और unpolished feel करता है क्योंकि generation model essentially अपने training data का "average" return कर रही है।

[ALLOY]: इसके पीछे mechanism training corpus में patterns की frequency है। जब एक model ने same hero section layout या pricing table configuration को thousands of public repositories में देखा है, तो यह उन specific Tailwind classes को high probability assign करता है। Result है same flexbox configurations, same "slate" या "gray" color palettes, और same border-radius defaults पर convergence। अगर model को explicit design constraints नहीं दिए जाते, तो यह path of least resistance - "average" UI को choose करता है। यह सिर्फ visual issue नहीं है; यह resulting DOM में measurable artifact है। आप actually unrelated projects में same class strings appearing देख सकते हैं।

[NOVA]: Builders के लिए challenge यह है कि model को इस generic output से "steer" कैसे करें। एक effective strategy है design tokens का use। Model को project-specific config provide करके जो unique palette, spacing scale, और component library define करता है, आप model को उसके canonical patterns से बाहर move करने पर मजबूर करते हैं। Model को classes freely choose करने देने के बजाय, आप generation को specific schema तक constrain करते हैं। यह statistical convergence को break करता है और code produce करता है जो actually intended brand identity से match करता है global training average की जगह।

[ALLOY]: हम यह भी देख रहे हैं कि CI checks "fingerprint" signatures के लिए emerge हो रहे हैं। अगर एक agent एक layout produce करता है जो common Tailwind template के 95% match है, तो system इसे manual review के लिए flag कर सकता है। यह particularly उन teams के लिए important है जो AI use करके development accelerate करना चाहते हैं बिना अपने product के unique visual identity को sacrifice किए। Takeaway यह है कि unedited AI output पहचानना increasingly easy होता जा रहा है, और burden अब builder पर है कि वह necessary "architectural guardrails" provide करे ताकि generated code distinct बना रहे। ...

[NOVA]: इसमें जाने से पहले एक quick framing note: Fable 5 currently suspended है both consumer और government access के लिए, तो यह observational और forward-looking है - जो builders को expect करना चाहिए जब model restored हो, नहीं कि जो आप आज live inference के against test कर सकते हैं। Simon Willison का June 11 piece Fable को "relentlessly proactive" के रूप में characterize करता है, और यह framing Hacker News पर 762 upvotes pull कर चुका है। Discussion center है on what it means जब एक AI coding agent explicit prompting के बिना act करता है, next steps anticipate करता है, और user's stated request से beyond initiative लेता है। Piece इसे agent behavior में एक notable shift के रूप में frame करता है, builders debate कर रहे हैं कि line कहां है helpful initiative और autonomous workflows में overreach के बीच।

[ALLOY]: Right, और inference-level mechanics behind it interesting हैं। Proactivity pattern जो Simon describe करता है loop configuration से आता लगता है agentic inference layer पर। Tool-use policies और system prompt conditioning action over confirmation favor करने के लिए tuned लगती हैं। Practice में, इसका मतलब है कि model एक failing test देख सकता है और immediately underlying logic का refactor करने में jump कर सकता है बिना ask किए। अगर आपने कभी Fable use किया है जब यह available था, तो आपने probably वह pattern देखा होगा जो वह describe कर रहा है - agentic loop longer run करता है, more initiative लेता है, और earlier Claude models की तुलना में less confirmation के साथ operate करता है। HN thread suggest करता है कि developers इसे unsolicited file changes, speculative refactors, और autonomous test runs के रूप में देख रहे हैं।

[NOVA]: इसके साथ आने वाला जोखिम सतह वह हिस्सा है जिसे बिल्डर्स को अभी अपने हार्नेस को ट्यून करना चाहिए, जब तक वे लाइव मॉडल को नहीं चला सकते। एक प्रोएक्टिव एजेंट रिव्यू मॉडल को बदल देता है: हर स्टेप को अप्रूव करने के बजाय, डेवलपर एक ऐसे वर्कस्पेस पर वापस आता है जो पहले से ही आगे बढ़ चुका है। यह diff रिव्यू इंटरफेस, सैंडबॉक्स बाउंड्रीज़, और स्पष्ट अनुमति स्कोपिंग पर बहुत दबाव डालता है। इन्हें टाइट करना शुरू करने का सही समय अभी है, जब आप गलती से एजेंट को अपना पूरा रेपो रीराइट करने नहीं दे सकते।

[ALLOY]: और Fable के लिए एक्सेस वापस आने पर उपयोग करने वाले किसी भी व्यक्ति के लिए व्यावहारिक कदम है कि अपने पसंदीदा व्यवहार को हार्नेस लेयर में एन्कोड करें। वे सैंडबॉक्स बाउंड्रीज़ सेट करें जो आप चाहते हैं, परिभाषित करें कि "कन्फर्मेशन आवश्यक" एक्शन क्या है, और diff रिव्यू को लूप में वायर करें। इस तरह, जब मॉडल वापस आपके हाथ में होगा, तो ऑर्केस्ट्रेशन पहले से ही प्रोएक्टिव टेंडेंसीज़ को संभालने के लिए आकार में होगा — और आप लाइव प्रोडक्शन कोडबेस पर इन्हें सीख नहीं रहे होंगे। ...

[NOVA]: व्यवहारिक कोण से स्विच करके एक्सेस कोण पर: वॉल स्ट्रीट जर्नल की एक रिपोर्ट में बताया गया है कि Amazon के CEO एंडी जैसी की वरिष्ठ ट्रंप प्रशासन के अधिकारियों के साथ बातचीत सीधे उस फेडरल डायरेक्टिव से पहले हुई जिसने Fable 5 और Mythos 5 को सरकारी एक्सेस से हटाया। यहाँ वास्तव में नया टुकड़ा है कारण श्रृंखला — एक हाई-प्रोफाइल वेंडर CEO का प्रशासन के साथ मीटिंग, तुरंत बाद एक प्रतिस्पर्धी के फ्लैगशिप मॉडल को फेडरल उपलब्धता से हटा दिया गया। यह तकनीकी रिलीज़ नहीं है, यह प्रोक्योरमेंट पॉलिटिक्स है।

[ALLOY]: सामान्य कंप्लायंस-लेयर मैकेनिक्स, राउटिंग निहितार्थ, और सैंंक्शनड मॉडल-लिस्ट गाइडेंस उस एक्सेस-लेयर कवरेज से तय हैं जो साइकल में लैंड हुआ। WSJ रिपोर्ट में रणनीतिक निहितार्थ बिल्डर्स के लिए नया टुकड़ा है। जब एक वेंडर CEO एक मीटिंग से प्रतिस्पर्धी के मॉडल को फेडरल एक्सेस से बाहर कर सकता है, तो रेगुलेटेड वर्क के लिए मॉडल-सेलेक्शन प्रोसेस में अभी एक नया आयाम आ गया है: वेंडर का मौजूदा प्रशासन के साथ राजनीतिक अलाइनमेंट। यह हमेशा अंतर्निहित था; WSJ रिपोर्ट इसे स्पष्ट करती है।

[NOVA]: और व्यावहारिक टेकअवे छोटा लेकिन महत्वपूर्ण है। मॉडल-राउटिंग कॉन्फ़िगरेशन खुद नहीं बदलता। सैंंक्शनड मॉडल लिस्ट, ऑडिट लॉगिंग, और इंफरेंस लेयर के ऊपर पॉलिसी गेटवे — वह सारा आर्किटेक्चर काम अपरिवर्तित है। जो बदलता है वह निर्णय मैट्रिक्स है कि किन मॉडल वेंडर्स का उपयोग पहले करना है। अगर आपके स्टैक का एक वेंडर पर निर्भर है जिसका नेतृत्व मौजूदा प्रशासन के साथ अलाइन नहीं है, तो यह अब एक डेप्लॉयमेंट जोखिम है जिसे आपको कैपेबिलिटी और कॉस्ट के साथ मूल्यांकित करना चाहिए, बाद में नहीं।

[ALLOY]: यही कारण है कि एपिसोड में पहले Qwen स्टोरी से लोकल-इंफरेंस कोण उस समय की तुलना में अधिक दिलचस्प है। जब राज्य एक्सेस सतह पर हस्तक्षेप कर सकता है, तो एक मॉडल का मूल्य जो आप अपने हार्डवेयर पर, अपने राउटिंग और अपने ऑडिट ट्रेल के साथ चलाते हैं, अब सिर्फ कॉस्ट ऑप्टिमाइज़ेशन नहीं है। यह सर्विस की निरंतरता की गारंटी है। फेडरल, डिफेंस, या राजनीतिक रूप से संवेदनशील काम में शिप करने वाले किसी भी बिल्डर के लिए, अपने डेटा सेंटर में चलने वाला एक ओपन-वेट मॉडल एकमात्र डेप्लॉयमेंट है जो वेंडर के राजनीतिक संबंधों पर निर्भर नहीं है। ...

[NOVA]: Endor Labs, एक फर्म जो सॉफ्टवेयर सप्लाई चेन सिक्योरिटी में माहिर है, ने Claude Fable 5 का एक मूल्यांकन प्रकाशित किया है जो मॉडल के लॉन्च के आसपास "mythos-grade" मार्केटिंग नैरेटिव को चुनौती देता है। उनके बेंचमार्क Fable 5 के कोडिंग परफॉर्मेंस को मौजूदा लीडरबोर्ड के मिडिल टायर में रखते हैं, जो सुझाव देता है कि प्रमोशनल क्लेम और वास्तविक मापे गए यूटिलिटी के बीच का अंतर कई डेवलपर्स को एहसास था।

[ALLOY]: मूल्यांकन "फंक्शनल करेक्टनेस" पर केंद्रित था — मॉडल की वह क्षमता कि वह कोड जनरेट करे जो वास्तव में दिए गए प्रॉब्लम को हल करे और ऑटोमेटेड टेस्ट के सेट को पास करे। Endor Labs ने विशिष्ट वेंडर बेंचमार्क की तुलना में अधिक कठोर पद्धति का उपयोग किया, जटिल, मल्टी-स्टेप टास्क का उपयोग करके जो वास्तविक दुनिया के इंजीनियरिंग वर्क के समान हैं। जबकि Fable 5 बेसिक सिंटैक्स और सिंपल फंक्शन जनरेशन पर अच्छा प्रदर्शन करता है, यह स्पेस में स्थापित लीडर्स की तुलना में बड़े आर्किटेक्चरल निर्णयों और क्रॉस-मॉड्यूल कंसिस्टेंसी के साथ संघर्ष करता है।

[NOVA]: यह एजेंट स्टैक के लिए प्रोक्योरमेंट निर्णय लेने वाले किसी भी व्यक्ति के लिए एक महत्वपूर्ण डेटा पॉइंट है। लॉन्च कीनोट्स अक्सर चेरी-पिक्ड उदाहरणों को हाइलाइट करते हैं जो मॉडल को अपने सबसे अच्छे में दिखाते हैं, लेकिन इस तरह की स्वतंत्र थर्ड-पार्टी रिव्यू वह "ग्राउंड ट्रुथ" प्रदान करती हैं जो इंजीनियरिंग लीड्स को चाहिए। तथ्य यह भी उल्लेखनीय है कि एक सिक्योरिटी फर्म ये टेस्ट कर रही है। वे कोड को सिर्फ यह देखने के लिए नहीं देख रहे कि यह "काम करता है," बल्कि यह भी कि क्या यह सबटल बग्स या सिक्योरिटी वल्नरेबिलिटीज़ पैदा करता है जिसे एक एजेंट अनदेखा कर सकता है।

[ALLOY]: बिल्डर्स के लिए टेकअवे यह है कि किसी नए मॉडल को अपने प्रोडक्शन रनटाइम पर पूरी तरह कमिट करने से पहले इन स्वतंत्र सिग्नल का इंतज़ार करें। अपने स्टैक में एक नया मॉडल वायर करने की लागत — आपका प्रॉम्प्ट इंजीनियरिंग, आपके टूल-यूज़ स्कीमा, और आपके इवैल्यूएशन सुइट्स अपडेट करना — महत्वपूर्ण है। अगर परफॉर्मेंस गेन्स सिर्फ मार्जिनल हैं या अगर मॉडल वास्तव में जटिल टास्क पर रिग्रेस करता है, तो यह बहुत बर्बाद प्रयास है। Endor Labs की रिपोर्ट एक रिमाइंडर है कि मॉडल रिलीज़ के मौजूदा "आर्म्स रेस" में, मार्केटिंग अक्सर वास्तविक इंजीनियरिंग रियलिटी से बहुत तेज़ी से आगे बढ़ती है। ...

[NOVA]: OpenAI ने अपने Academy प्लेटफॉर्म को तीन नए कोर्सेस के साथ विस्तारित किया है जो वास्तविक व्यावसायिक प्रक्रियाओं में AI टूल्स को संचालित करने पर केंद्रित हैं। ये कोर्सेस 'प्रॉम्प्ट इंजीनियरिंग' को एक शौक के रूप में देखने से 'वर्कफ्लो डिज़ाइन' को एक पेशेवर अनुशासन के रूप में अपनाने की ओर एक बदलाव का प्रतिनिधित्व करते हैं। ये विशेष रूप से उन बिल्डर्स को लक्षित करते हैं जो केवल अड-हॉक चैट सेशन्स के बजाय दोहराने योग्य, विश्वसनीय एजेंटिक सिस्टम बनाना चाहते हैं।

[ALLOY]: हर कोर्स टास्क डिकंपोज़िशन और एजेंट ऑर्केस्ट्रेशन के लिए ठोस पैटर्न्स के बारे में बताता है। सबसे उपयोगी मॉड्यूल में से एक "प्लानर-बिल्डर" पैटर्न को कवर करता है, जहां एक मॉडल हाई-लेवल गोल को सब-टास्क्स की सीरीज में तोड़ने के लिए ज़िम्मेदार होता है, जबकि दूसरा मॉडल असली एक्जीक्यूशन संभालता है। यह एक ऐसा पैटर्न है जिसे हमने कई सबसे सफल एजेंट इम्प्लीमेंटेशन में देखा है, और OpenAI से एक आधिकारिक पाठ्यक्रम जो इन बेस्ट प्रैक्टिसेस को डॉक्यूमेंट करता है, यह कम्युनिटी के लिए एक बड़ी जीत है।

[NOVA]: कोर्सेस में "हैंड्स-ऑन" प्लेग्राउंड्स भी शामिल हैं जहाँ आप विभिन्न एजेंट कॉन्फ़िगरेशन्स टेस्ट कर सकते हैं और देख सकते हैं कि वे एक्सटर्नल APIs के साथ कैसे इंटरैक्ट करते हैं। एक डेवलपर के लिए जो अभी सही तरीका खोजने की कोशिश कर रहा है कि टूल कॉल्स को कैसे स्ट्रक्चर करें या प्रोडक्शन पाइपलाइन में नॉन-डिटर्मिनिस्टिक आउटपुट को कैसे हैंडल करें, यह एक स्ट्रक्चर्ड लर्निंग पाथ प्रदान करता है। यह देखना भी दिलचस्प है कि OpenAI "रिपीटेबल" वर्कफ्लोज़ पर इतना ज़ोर क्यों दे रहा है। वे स्वीकार कर रहे हैं कि AI अडॉप्शन के लिए सबसे बड़ी चुनौती मॉडल की क्षमता नहीं है, बल्कि यह कठिनाई है कि उस मॉडल को हर बार एक ही टास्क विश्वसनीय रूप से करने के लिए कैसे प्रेरित किया जाए।

[ALLOY]: ये कोर्सेस फ्री हैं, और वे एक शेयर्ड वोकैबुलरी प्रदान करते हैं जो टीम्स अपने इंटर्नल एजेंट आर्किटेक्चर्स को डॉक्यूमेंट करने के लिए उपयोग कर सकती हैं। अगर आपकी टीम का हर व्यक्ति "वैलिडेशन लूप्स" और "स्टेट मैनेजमेंट" के लिए एक ही पैटर्न्स को समझता है, तो जटिल एजेंट स्टैक्स पर सहयोग करना बहुत आसान हो जाता है। जबकि कंटेंट स्पष्ट रूप से OpenAI के अपने मॉडल्स पर केंद्रित है, आर्किटेक्चरल लेसन्स - जैसे कि कॉन्टेक्स्ट विंडो को कैसे स्कोप करें या एक रोबस्ट फीडबैक लूप कैसे डिज़ाइन करें - आपके द्वारा चलाए जा रहे किसी भी मॉडल पर लागू होते हैं। ...

[NOVA]: "आर्किटेक्ट-लूप" प्रोजेक्ट ने मल्टी-एजेंट सिस्टम में टोकन कॉस्ट्स को मैनेज करने का एक अत्यंत कुशल तरीका प्रदर्शित किया है "रिव्यूइंग" और "बिल्डिंग" रोल्स को अलग करके। एक Fable रिव्यूअर को एक Codex बिल्डर के साथ जोड़कर, प्रोजेक्ट ने रिव्यूअर मॉडल द्वारा खपत किए गए टोकन्स में 80% की कमी की रिपोर्ट की है। यह प्रोसेस के प्रत्येक चरण में ऑर्केस्ट्रेटर को कौन सी जानकारी पास की जाती है यह सावधानी से कंट्रोल करके हासिल किया जाता है।

[ALLOY]: रनटाइम आर्किटेक्चर "सेलेक्टिव कॉन्टेक्स्ट" के सिद्धांत पर बना है। एक पारंपरिक एजेंट लूप में, आप हर पास पर पूरे कोडबेस या एक विशाल डिफ को मॉडल को भेज सकते हैं। यह अविश्वसनीय रूप से महंगा है, खासकर अगर आप रिव्यू के लिए हाई-एंड मॉडल का उपयोग कर रहे हैं। आर्किटेक्ट-लूप इसे बदल देता है "बिल्डर" (टर्मिनल-आधारित कोडिंग एजेंट Codex) को कोड लिखने का भारी काम करने देकर, और फिर केवल एक हाई-लेवल सारांश और विशिष्ट आर्टिफैक्ट्स वापस "रिव्यूअर" (Fable) को भेजकर। Fable कभी भी बल्क में रॉ सोर्स फाइल्स नहीं देखता; यह केवल वही देखता है जो अगला आर्किटेक्चरल निर्णय लेने के लिए उसे देखने की जरूरत है।

[NOVA]: यह एक शानदार ऑप्टिमाइज़ेशन है क्योंकि यह स्वीकार करता है कि "रीज़निंग" और "इम्प्लीमेंटेशन" अलग-अलग टास्क हैं जिनकी अलग-अलग रिसोर्स आवश्यकताएं हैं। आपको अपने सबसे महंगे मॉडल की ज़रूरत नहीं है बॉयलरप्लेट React कंपोनेंट या सिंपल CRUD एंडपॉइंट लिखने के लिए। आप चाहते हैं कि वह मॉडल हाई-लेवल लॉजिक संभाले और सुनिश्चित करे कि बदलाव सिस्टम के आर्किटेक्चर को न तोड़े। "लो-लेवल" काम को एक सस्ते मॉडल पर रूट करके और "हाई-लेवल" मॉडल के कॉन्टेक्स्ट विंडो को जितना हो सके छोटा रखकर, आप अपने एजेंट की क्षमता में टास्क की जटिलता को नाटकatically स्केल कर सकते हैं बिना अपना बजट बर्बाद किए।

[ALLOY]: बिल्डर्स के लिए, यह एक पैटर्न को वैलिडेट करता है जहां ऑर्केस्ट्रेटर अपने एक्टिव सेशन में कभी भी पूरे सोर्स पेलोड को नहीं रखता। इसके बजाय, आप एक "स्टेट सारांश" बनाए रखते हैं जिसका उपयोग ऑर्केस्ट्रेटर प्रोजेक्ट को नेविगेट करने के लिए करता है। यह बड़े रिपॉजिटरीज़ के लिए एजेंट बनाने का एक बहुत अधिक स्केलेबल तरीका है। अगर आप एक एजेंट लूप चला रहे हैं जो वर्तमान में मासिक टोकन कॉस्ट्स में हज़ारों डॉलर खर्च कर रहा है, तो ऐसा प्लानर-बिल्डर स्प्लिट इम्प्लीमेंट करना दक्षता में सुधार करने का सबसे तुरंत तरीका है।

[NOVA]: एक द्वितीयक लाभ है जो अक्सर कॉस्ट-फोकस्ड राइटअप्स में छूट जाता है। जब रिव्यूअर केवल एक स्ट्रक्चर्ड सारांश देखता है, तो इन्फरेंस लेयर पर वही सारांश स्ट्रक्चर कैश्ड किया जा सकता है। अगर आपका सुमराइज़ेशन फंक्शन समान इनपुट पर डिटर्मिनिस्टिक है, तो आप प्रोवाइडर के प्रॉम्प्ट-कैश लेयर को हिट कर सकते हैं और हर बाद के पास पर रिव्यूअर की प्रीफिल कॉस्ट को स्किप कर सकते हैं। वहीं जहाँ असली बचत स्टैक अप होती है: केवल "छोटे प्रॉम्प्ट्स" नहीं, बल्कि "छोटे प्रॉम्प्ट्स जो कैशेबल भी हैं।" एक प्लानर जो कभी रॉ सोर्स को फिर से नहीं पढ़ता, आखिर में सस्ते कंटिन्यूएशन कॉल्स के सेक्वेंस की तरह दिखता है, जो एक रिव्यूअर से बहुत अलग कॉस्ट प्रोफाइल है जो हर इटरेशन पर पूरे डिफ को फिर से प्रोसेस करता है।

[ALLOY]: दूसरा आर्किटेक्चरल लेसन दो एजेंट्स के बीच की बाउंड्री है। आर्किटेक्ट-लूप उस बाउंड्री को "स्ट्रक्चर्ड रिव्यू आर्टिफैक्ट्स" पर खींचता है - टेस्ट रिज़ल्ट्स, लिंट आउटपुट, एक डिफ सारांश, और अगले तीन एक्शन्स की सूची। यह एक बहुत साफ कॉन्ट्रैक्ट है। अगर आप अपना खुद का मल्टी-एजेंट सेटअप बना रहे हैं, त соблаन बिल्डर के पूरे आउटपुट को प्लानर के माध्यम से पास करने और प्लानर को यह तय करने देना है कि उसके साथ क्या करना है। यह कपलिंग ही रिव्यूअर मॉडल्स को महंगा बनाती है। एक प्लानर जो केवल एक स्थिर, स्ट्रक्चर्ड एनवेलप का उपभोग करता है, संचालित करने में बहुत सस्ता होगा और जब आप दो मॉडल्स में से किसी एक को स्वतंत्र रूप से अपग्रेड करना चाहेंगे तब उसे स्वैप करना बहुत आसान होगा।

[NOVA]: वह 80% कमी का आंकड़ा प्रोजेक्ट का अपना माप है, इसलिए सही समझ यह है कि "यह ओपन कोडबेस में एक वास्तविक और पुनः प्रस्तुत करने योग्य पैटर्न है," न कि "हर रिव्यूअर मॉडल वही नंबर दिखाएगा।" बचत का स्वरूप इस बात पर निर्भर करता है कि आपका बिल्डर कितना चैटी है और वह प्रति पास में सोर्स का कितना हिस्सा प्रोसेस करता है। लेकिन गुणात्मक दावा — कि सेलेक्टिव कॉन्टेक्स्ट प्लस स्ट्रक्चर्ड प्लानर-बिल्डर बाउंड्री दोनों काम करने वाले एकल एजेंट से सस्ती है — व्यापक मल्टी-एजेंट साहित्य में बना रहता है, और आर्किटेक्ट-लूप इस चक्र में इसका सबसे स्पष्ट सार्वजनिक प्रदर्शन है। ...

[NOVA]: डेवलपर कोन वान गिल्स्ट ने "Shepherd's Dog" प्रकाशित किया है, एक पूर्णतः खेलने योग्य वेब-आधारित गेम जो लगभग पूरी तरह से Claude का उपयोग करके एक कस्टम एजेंटिक हार्नेस द्वारा लिखा गया था। यह प्रोजेक्ट एक शक्तिशाली केस स्टडी है कि एक सोलो डेवलपर क्या हासिल कर सकता है जब वे मॉडल को सिर्फ एक कोडिंग असिस्टेंट के बजाय "फुल-स्टैक ऑथर" के रूप में मानते हैं। यह कॉपी-पेस्ट ऑपरेशन की श्रृंखला के माध्यम से नहीं बना था; यह एक एजेंट लूप का परिणाम था जिसने संपूर्ण इम्प्लीमेंटेशन लेयर को मालिकाना हक प्रदान किया।

[ALLOY]: इस प्रोजेक्ट के लिए उपयोग किया गया हार्नेस — जिसे Fable भी कहा जाता है, हालांकि यह मॉडल नाम से अलग है — एक ऑर्केस्ट्रेशन लेयर है जो Claude को पूरे कोडबेस पर इटरेट करने की अनुमति देता है। एजेंट नई फाइलें बना सकता है, मौजूदा फाइलों को संशोधित कर सकता है, और बिल्ड प्रक्रिया चला सकता है यह देखने के लिए कि गेम वास्तव में काम करता है या नहीं। जब यह किसी एरर में आता है, हार्नेस कंसोल आउटपुट कैप्चर करता है और इसे मॉडल में वापस फीड करता है, एक सेल्फ-हीलिंग डेवलपमेंट लूप बनाता है। यही तरीका था जिससे प्रोजेक्ट एक हाई-लेवल कॉन्सेप्ट से एक फिनिश्ड, खेलने योग्य बिल्ड तक एकल फोकस्ड सेशन में पहुंच सका।

[NOVA]: "Shepherd's Dog" के बारे में जो विशेष रूप से दिलचस्प है वह यह है कि यह आर्किटेक्चरल जटिलता के संदर्भ में करंट-जेनरेशन मॉडल क्या संभाल सकते हैं इसकी "उपरी सीमा" का प्रदर्शन करता है। गेम में स्टेट मैनेजमेंट, कोलिजन डिटेक्शन और रेंडरिंग लूप है — ये सभी चीजें कोड के विभिन्न हिस्सों कैसे इंटरैक्ट करते हैं इसकी सुसंगत समझ की मांग करती हैं। हार्नेस का उपयोग करके जो उस सुसंगतता को बनाए रखता है, डेवलपर कोड "लिखने" की संज्ञानात्मक भार को कम करने में सक्षम था और पूरी तरह से गेम के डिज़ाइन को "डायरेक्ट" करने पर ध्यान केंद्रित कर सका।

[ALLOY]: यह प्रोजेक्ट "एजेंट-ड्रिवन ऑथरिंग" ट्रेंड का भी एक बेहतरीन उदाहरण है। हम उन एजेंटों से दूर जा रहे हैं जो बस हमें कोड लिखने में मदद करते हैं, और उन एजेंटों की ओर बढ़ रहे हैं जो डेवलपर हैं, जहां मनुष्य अधिक एक क्रिएटिव डायरेक्टर या प्रोडक्ट मैनेजर की तरह कार्य करता है। जो कोई भी सोच रहा है कि क्या ये टूल्स "प्रोडक्शन-ग्रेड" एप्लिकेशन डेवलपमेंट के लिए तैयार हैं, "Shepherd's Dog" बहुत विश्वसनीय साक्ष्य प्रदान करता है। हार्नेस और प्रोजेक्ट का सोर्स दोनों अन्य बिल्डर्स के लिए अध्ययन और अनुकूलित करने के लिए उपलब्ध हैं।

[NOVA]: पुनः प्रस्तुत करने की चेतावनी वास्तविक है और इसे ध्यान में रखने योग्य है। क्योंकि मॉडल क्रिएटिव वर्क के लिए उपयोग किए जाने वाले टेम्परेचर सेटिंग्स पर नॉन-डिटर्मिनिस्टिक है, वही सटीक गेम जो कोन ने शिप किया वह जरूरी नहीं कि वही गेम हो जो दूसरा डेवलपर एक ही प्रॉम्प्ट सीक्वेंस से पाएगा। आर्किटेक्चरल आकार समान दिखेगा, लेकिन विशिष्ट इम्प्लीमेंटेशन विवरण — आर्ट स्टाइल, कोलिजन ट्यूनिंग, लेवल लेआउट — अलग होंगे। जो टीमें अपने प्रोडक्ट के लिए Fable-स्टाइल हार्नेस अपनाने के बारे में सोच रही हैं, उनके लिए निष्कर्ष यह है कि हार्नेस आपको एक स्थिर ऑथरिंग लूप देता है, लेकिन अगर आप पुनः प्रस्तुत करने योग्य बिल्ड्स चाहते हैं तो आपको अभी भी कहीं downstream एक डिटर्मिनिस्टिक लेयर की जरूरत है। यह आमतौर पर एक टेस्ट सूट के रूप में आता है जो हार्नेस हर इटरेशन पर चलाता है, प्लस फाइनल सोर्स पर एक कंटेंट-हैश स्टेप ताकि आप बता सकें कि बिल्ड वास्तव में एक अलग आर्टिफैक्ट है या नहीं।

[ALLOY]: और यह वह हिस्सा है जिसे हम सबसे कम चर्चित मानते हैं: हार्नेस सिर्फ एक "मॉडल को कोड लिखने दो" रैपर नहीं है। दिलचस्प डिज़ाइन चॉइस यह है कि यह बिल्ड के कंसोल आउटपुट को कैप्चर करता है और अगले टर्न में एरर्स को वापस उसी मॉडल में फीड करता है। यह एक फीडबैक लूप बंद करता है जिसे मॉडल केवल रॉ टेक्स्ट जेनरेशन से नहीं देख सकता, और यही वह चीज है जो एकल एजेंट को बिना किसी मध्यवर्ती मानव के ब्लैंक रेपो से वर्किंग बिल्ड तक पहुंचने देती है। अगर आप अपना खुद का एजेंट लूप बना रहे हैं और आपने अगले प्रॉम्प्ट में एरर फीडबैक वायर नहीं किया है, तो यह एकल सबसे हाई-लीवरेज बदलाव है जो आप इस सप्ताह कर सकते हैं। ...

[NOVA]: Preply ने एक नया फीचर पेश किया है जो अपने भाषा शिक्षार्थियों के लिए व्यक्तिगत पाठ सारांश बनाने के लिए OpenAI मॉडल का उपयोग करता है। यह "human-plus-AI" ऑर्केस्ट्रेशन का एक क्लासिक उदाहरण है, जहां मॉडल का उपयोग एक उच्च-मूल्य मानव सेवा को बढ़ाने के लिए किया जाता है जिसमें थकाऊ पोस्ट-सेशन काम को संभाला जाता है जो अक्सर छूट जाता है।

[ALLOY]: तकनीकी इम्प्लीमेंटेशन एक रिट्रीवल-एंड-सारांश पाइपलाइन है। ट्यूशन सेशन समाप्त होने के बाद, सिस्टम ट्रांसक्रिप्ट और ट्यूटर द्वारा बनाए गए किसी भी नोट्स को लेता है और उन्हें एक OpenAI इंफरेंस एंडपॉइंट के माध्यम से चलाता है। मॉडल को मुख्य विषयों को निकालने, नए शब्दावली शब्दों की पहचान करने और छात्र की विशिष्ट गलतियों के अनुरूप अनुवर्ती अभ्यासों का एक सेट बनाने के लिए प्रॉम्प्ट किया जाता है। परिणामी सारांश तब सीधे छात्र के डैशबोर्ड में रेंडर किया जाता है।

[NOVA]: यह पैटर्न अविश्वसनीय रूप से प्रभावी है क्योंकि यह रनटाइम लागत को कम रखता है और रियल-टाइम AI से जुड़ी विलंबता समस्याओं से बचाता है। क्योंकि सारांश सेशन समाप्त होने के बाद बनाया जाता है, इससे कोई फर्क नहीं पड़ता कि मॉडल को ट्रांसक्रिप्ट को प्रोसेस करने में 10 या 20 सेकंड लगते हैं। इसका मतलब यह भी है कि ट्यूटर लाइव घंटे के दौरान पूरी तरह से पढ़ाने पर ध्यान केंद्रित कर सकता है, यह जानते हुए कि "डॉक्यूमेंटेशन" स्वचालित रूप से संभाला जाएगा। यह एक टेम्पलेट है जो लगभग किसी भी सेवा-आधारित उद्योग पर लागू किया जा सकता है — कानूनी परामर्श से लेकर चिकित्सा अपॉइंटमेंट तक।

[ALLOY]: बिल्डर्स के लिए, यहां का मुख्य पाठ है well-defined output schema का मूल्य। Preply सिर्फ मॉडल से "summary लिखो" नहीं मांग रहा; वो structured JSON payload मांग रहा है जिसमें "recap," "vocabulary," और "exercises" के लिए specific fields हों। यह platform को AI के output को existing UI में seamlessly integrate करने देता है। यह एक reminder है कि AI engineering में "engineering" अक्सर model से ज्यादा data को structure करने से जुड़ी होती है - कैसे आप data को अंदर और बाहर structure करते हैं। ...

[NOVA]: आज हमने hardware configurations से लेकर policy shifts तक बहुत सारी जमीन cover की। आइए अपने stack के लिए सबसे actionable takeaways synthesize करें। पहले, इस हफ्ते documented heterogeneous GPU setup साबित करता है कि आप mismatched consumer cards का उपयोग करके 27B model पर 80 tokens per second hit कर सकते हैं। अगर आपके पास RTX 3090 और 5080 है, तो आपकी configuration PCIe bus पर clean tensor-parallel layer split पर focus करनी चाहिए ताकि system RAM bottleneck में जाए बिना throughput maximize हो।

[ALLOY]: open-source maintainers के लिए, OpenAI पर नया Codex intake form dedicated capacity secure करने का आपका primary path है। practical move यह है कि submit करने से पहले अपने repository metrics और एक clear use case तैयार करें, क्योंकि यह automated approval process की जगह human-vetted track लगता है। इस बीच, अगर आप generated UI ship कर रहे हैं, तो आपको Tailwind patterns के "statistical convergence" को observe करना चाहिए और इसे mitigate करना चाहिए design tokens को सीधे अपने system prompts में wire करके ताकि आपका output generic template में collapse न हो।

[NOVA]: agent behavior lane में, Claude Fable का उपयोग करने वाले builders को access restore होने पर "relentless proactivity" expect करनी चाहिए। इसे tune करने का सही समय अभी है, जब model अभी suspended है — अपनी harness-level sandbox और diff review surfaces wire करें ताकि orchestration proactive tendencies को handle करने के लिए shaped हो, इससे पहले कि आप उन्हें live production codebase पर accidentally test करें। अगर आप regulated या government-adjacent sector में operate कर रहे हैं, तो model-routing guidance unchanged है; इस cycle में जो नया है वह है model-selection decision matrix में vendor political alignment को add करना, इससे पहले कि आप stack choose करें।

[ALLOY]: Endor Labs के independent benchmarks एक reminder हैं कि नए model पर अपना entire stack migrate करने से पहले third-party validation का इंतजार करें। Fable 5 के mid-tier results suggest करते हैं कि launch-day hype often actual coding performance से ज्यादा होती है। multi-agent systems बनाने वालों के लिए, "architect-loop" project planner-builder split को validate करता है: implementation को cheaper model पर route करना जबकि expensive model को high-level review के लिए reserve करना आपकी token costs को 80% तक cut कर सकता है।

[NOVA]: अंत में, Preply और Shepherd's Dog examples को different types of orchestration के templates के रूप में देखें। Preply दिखाता है कि human services में value add करने के लिए high-latency, structured summarization का उपयोग कैसे करें, जबकि Shepherd's Dog दिखाता है कि self-healing agent loop कैसे entire applications author कर सकता है। दोनों patterns आज viable हैं अगर आपके पास right harness मौजूद है।

[ALLOY]: आज के लिए यही slate है। आप सभी technical details, imil.net hardware breakdown के links, Endor Labs benchmarks, और new OpenAI Academy curriculum को show notes में पा सकते हैं।

[NOVA]: definitely show notes को Toby On Fitness Tech dot com पर देखें heterogeneous GPU setup पर full links और implementation details के लिए। AgentStack Daily सुनने के लिए thanks। हम जल्दी वापस आएंगे।