Mistral Large 4, EmbeddingGemma 2 e OpenTPU

Episódio 121 — 07 de outubro de 2026

[00:00] Gancho do episódio

A Mistral abriu uma prévia pública do Large 4, o Google está integrando texto, imagens, vídeo e áudio em um modelo de busca local, e a OpenTPU está compartilhando um projeto de acelerador de IA. Vamos começar com a Mistral.

[02:00] Mistral Large 4 abre prévia pública com ganhos em segurança e visão

A Mistral abriu uma prévia pública de seu maior modelo, apelidado de Le Chonk. ML4 é um modelo nativamente multimodal com 1 trilhão de parâmetros e 49 bilhões de parâmetros ativos. A Mistral relata que o ML4 está entre os cinco principais modelos no Artificial Analysis Cyber Index e lidera os modelos de pesos abertos desenvolvidos fora da China. O editor relata que no visual grounding, o ML4 supera o GPT-6-Astra no Dense 200, com pontuação de 42% contra 41% do GPT-6-Astra. O ML4 está disponível como API de prévia no Mistral Studio hoje, com pesos abertos prometidos até o final do mês. Parâmetros ativos são a parte do modelo usada para um token específico, em vez de toda a coleção de pesos. Essa distinção ajuda a explicar como um modelo tão grande distribui sua computação. O índice de segurança avalia encontrar e corrigir falhas em software real. A Mistral diz que o ML4 obteve 82% em uma tarefa separada que exigia reproduzir uma vulnerabilidade real e corrigi-la, e resolveu 93% dos quarenta desafios Cybench. Esses são resultados relatados de tarefas específicas. Eles não estabelecem sucesso em todos os problemas de segurança. A comparação de visual grounding é sobre localizar o que importa em uma imagem, com o editor descrevendo aplicações em imagens de satélite e desenhos de engenharia. A Mistral treinou o modelo em 3.800 GPUs NVIDIA Grace Blackwell em seus data centers europeus. Para equipes considerando auto-hospedagem, o acesso imediato é o serviço de prévia; a liberação anunciada dos pesos vem depois.

[02:02] EmbeddingGemma 2 traz busca multimodal para dispositivos locais

O Google está transformando vários tipos de mídia em uma representação pesquisável. Um embedding é uma lista compacta de números usada para comparar significado; permite que uma consulta de texto encontre mídia relacionada sem correspondência apenas de palavras exatas. O Google lançou o EmbeddingGemma 2, um modelo aberto de 740M de parâmetros sob Apache 2.0 que mapeia nativamente texto, imagens, vídeo e áudio em um espaço de embedding unificado de 768 dimensões. O modelo suporta mais de 100 idiomas, uma janela de contexto de 8K tokens e carregamento modular de codificadores que roda apenas texto em aproximadamente 191MB de RAM ativa em um Pixel 11 Pro. O editor relata que comparado ao EmbeddingGemma 1, o EmbeddingGemma 2 pontua 78,68 contra 68,76 no MTEB Code, um ganho de 9,92 pontos. O card do modelo alerta que float16 pode produzir embeddings inválidos ou silenciosamente degradados porque o intervalo de ativação excede o que float16 pode representar. Os pesos do modelo estão disponíveis no Hugging Face e Kaggle sob Apache 2.0, com runtimes incluindo sentence-transformers, Ollama, llama.cpp e vLLM. O backbone de texto usa 270 milhões de parâmetros, com codificadores de visão e áudio separados que podem ser carregados apenas quando necessário. Isso dá a uma aplicação de texto-only uma pegada menor que o modelo completo. O modelo também suporta encurtamento de seus vetores de saída. Sua documentação diz que a qualidade permanece próxima da representação completa até 256 dimensões, enquanto 128 dimensões reduzem substancialmente a qualidade multimodal. Um vetor menor pode economizar armazenamento, mas essa troca depende do conteúdo sendo pesquisado. As aplicações documentadas incluem busca de código local, recuperação para agentes de codificação e encontrar áudio ou vídeo a partir de uma consulta de texto. Esses são embeddings para recuperação e classificação, em vez de um chatbot gerando uma resposta. O aviso de precisão importa porque um embedding ruim pode parecer plausível enquanto piora silenciosamente o ranking.

[03:47] Um acelerador de IA projetado por IA agora roda dez modelos em uma placa FPGA de $3K

A FeSens publicou o OpenTPU, um acelerador de IA de código aberto que roda dez modelos modernos em uma placa Kintex-7 FPGA PCIe. Todo o projeto está em um monorepo que você pode ler do início ao fim: o design de hardware em SystemVerilog, a arquitetura do conjunto de instruções, um simulador bit-exact, uma linguagem de kernel e compilador, e o software host. A placa roda Qwen3, Qwen3.5, LFM2.5, Gemma 4, SmolLM3 e Phi-4-mini com seus pesos reais, correspondendo exatamente à saída de tokens do Hugging Face em cada configuração. No menor modelo, LFM2.5-230M em int8, ele decodifica a 59 tokens por segundo; Qwen3-0.6B com corpo de 4 bits atinge 31 tok/s. A arquitetura é propositalmente simples. Um sequenciador emite uma instrução por ciclo para uma unidade de matriz que multiplica pesos int8 transmitidos da DRAM, uma unidade vetorial que lida com matemática de ponto flutuante, e um quantizador que converte resultados de volta para int8. Não há cache, então cada movimento de dados é explícito e um trace mostra exatamente para onde os ciclos vão. Os controladores LiteDRAM calibram ambos os canais DDR3 em 12 segundos na inicialização e acionam a memória a 91-94% do pico da placa, acima dos 82-87% da imagem de produção anterior. Uma segunda build empurrou isso mais longe, dando a maioria dos modelos decodificação 8-9% mais rápida. Pesos quantizados de 4 bits usam valores FP4 com escalas de bloco de dois níveis, mantendo a cabeça do modelo de linguagem em int8 para precisão. Eles reduzem o tráfego de memória em cerca de um terço e aumentam a vazão de decodificação em 40-45%. A placa também lida com modelos mixture-of-experts maiores que seu limite de 4 GiB transmitindo experts faltantes do host através do PCIe, roteando cada token e computando cada expert no próprio acelerador.

[05:25] Resumo de pesquisa: Menos alinhamento, melhor destilação: uma descoberta contraintuitiva para treinamento entre tokenizers

Fazer menos trabalho de alinhamento ao destilar um modelo pequeno de um professor maior pode realmente lhe dar melhores resultados, de acordo com nova pesquisa de uma equipe incluindo Bingxi Hou. A descoberta contraintuitiva vem do estudo do que acontece quando o professor e o estudante usam tokenizers diferentes, significando diferentes formas de fatiar texto em pedaços. A abordagem comum é alinhar o máximo possível de seus vocabulários. Mas em três pares professor-estudante em raciocínio matemático e geração de código, a equipe descobriu que posições de tokens estritamente um para um cobrem a maior parte do que o estudante gera, mesmo com descasamento substancial de vocabulário. Restringir o sinal de treinamento a um pequeno subconjunto do vocabulário compartilhado nessas posições estritas correspondeu ou superou métodos de alinhamento mais amplos, incluindo as linhas de base padrão entre tokenizers. Quando eles adicionaram supervisão aos grupos que não correspondiam para tentar cobertura total, a precisão caiu. O motivo provável: esses sinais extras são fracos ou apontam em direções opostas das úteis, arrastando o treinamento para fora do caminho. A conclusão: ao destilar entre tokenizers, supervisão compacta em posições estritas supera cobertura mais ampla que introduz ruído.

[06:32] OpenAI publica provas matemáticas geradas por IA, com arquivos Lean verificados por máquina

A OpenAI publicou um lote de novos resultados matemáticos produzidos por um de seus modelos de IA e os colocou em um repositório GitHub onde qualquer pessoa pode lê-los. O lançamento inclui formalizações de muitas provas em Lean — uma linguagem de programação que permite a um computador verificar se um argumento matemático realmente se sustenta. Isso importa porque provas geradas por IA geralmente chegam como prosa que ninguém pode verificar completamente; aqui, muitas delas são verificadas por máquina.

A empresa também compartilhou quanto trabalho foi investido. Em média, cada resultado consumiu aproximadamente três horas de computação de pensamento no estilo ChatGPT Pro. Dez resumos de raciocínio do modelo são incluídos para que outros matemáticos possam ver como a IA chegou às suas respostas, junto com estatísticas sobre quantos problemas ela tentou antes de produzir resultados dignos de publicação.

A OpenAI trabalhou com um comitê externo independente sobre como liberar trabalho deste tipo e financiará oficinas e conferências para discutir os principais resultados. Ela também diz que está trabalhando para liberar o modelo que produziu esses resultados, embora nenhum cronograma seja dado neste anúncio.

Para o mundo da matemática, o payoff prático é o acesso aberto: um conjunto de resultados para inspecionar, criticar e construir sobre eles. Para ouvintes curiosos, a manchete é que um laboratório de fronteira agora está publicando provas geradas por IA em um formato onde um computador — não apenas um árbitro humano — tem que aprovar. O modelo em si ainda é a peça que falta; a próxima coisa a observar é quando, e em que forma, essa liberação acontece.

[08:06] Resumo de pesquisa: Aprendizado por Reforço FP4 corresponde à precisão total em 5x a velocidade

Pesquisadores construíram o TRACE, um framework de quantização que permite que modelos de linguagem Mixture-of-Experts rodem rollouts de aprendizado por reforço em FP4 — ponto flutuante de quatro bits, uma fração da precisão usada na maioria dos sistemas de produção. O problema que eles resolveram: quando treinamento e rollouts usam caminhos de baixa precisão diferentes, o modelo degrada. O TRACE fecha essa lacuna usando os resultados de quantização do lado do rollout para guiar as decisões de arredondamento do lado do treinamento, mantendo ambos os caminhos alinhados. Eles também adicionaram um esquema de cache que retém seletivamente informação de mantissa e escala de camadas mais profundas, cortando overhead de armazenamento e comunicação que normalmente vem com a orientação de rollout. Em quatro grandes modelos MoE abrangendo tarefas de raciocínio, codificação e RL de longo horizonte, o TRACE entregou qualidade de rollout comparável ao BF16 enquanto alcançava até 5.4x de speedup de rollout. O efeito prático: RL post-training, já um devorador de computação, pode rodar dramaticamente mais barato sem o imposto de precisão usual. Vale observar se os ganhos se mantêm através de famílias de modelos além dos quatro testados.

[09:02] Mirror Particle aposta que humanos precisam de um modelo de mundo, não de interpretação de papéis

Mirror Particle é uma startup de dois anos de San Francisco estreando no Startup Battlefield 200 do TechCrunch Disrupt em meados de outubro, apresentando um modelo de base — o que a CEO Abhivyakti Ahuja chama de "modelo de mundo" — construído do zero para prever comportamento humano e as razões por trás dele.

O argumento é que pedir a um modelo de linguagem grande para interpretar um perfil demográfico é a abordagem errada. Ajustar fino um modelo treinado em centenas de bilhões de pontos de dados com uma fatia fina de respostas de pesquisa, disse Ahuja, é "como trazer um super esguicho para as Cataratas do Niágara." LLMs modelam linguagem escrita, ela completou, enquanto humanos são impulsionados por percepção visual, raciocínio espacial e inteligência social.

O sistema da Mirror ingere uma combinação proprietária de dados de clientes, eventos atuais, cultura pop e redes sociais, então modela um segmento demográfico como algo que muda ao longo do tempo. O foco é o "comportamento revelado" — o que as pessoas realmente fazem — e rastrear quais gatilhos mudam as motivações e em quanto. As previsões chegam com o "porquê": as motivações, restrições e contexto que justificam uma recomendação.

Em um piloto inicial, uma marca de ração para pets perguntou qual imagem de embalagem aumentaria as vendas. A tecnologia da Mirror disse que a pergunta estava errada. A percepção de mercado de massa da marca era o teto, e a imagem não era o mecanismo.

A empresa está vendendo inicialmente para pesquisa de mercado e estratégia de marca e produto, onde compete com Simile, Aaru e Persimmon da Humans&. Ahuja anteriormente construiu robôs na Amazon Robotics; os co-fundadores Will Song e Thomson Yen trazem experiência em personalização de vendas e aprendizado profundo para modelagem de comportamento de agentes, respectivamente. A Mirror fechou uma rodada anjo e está perto de fechar sua primeira rodada de venture, com o objetivo de longo prazo de passar de previsões em nível populacional para individual.

[10:47] Falha Crítica Encontrada no Protocolo de Comunicação de Agentes de IA

O pesquisador independente Syed Anas Mohiuddin identificou uma classe de vulnerabilidades no MCP, o Protocolo de Contexto de Modelo, que permite que atacantes usem um agente de IA comprometido como trampolim para controlar outros dentro de uma rede. A técnica explora uma suposição fundamental de confiança: quando agentes se comunicam via MCP, eles implicitamente confiam em instruções de outros agentes autorizados sem aplicar a mesma validação que aplicariam a entradas externas. Nos testes, Mohiuddin encontrou o mesmo padrão no Google, JP Morgan Chase, Weviate, Rapid7, na direção digital interministerial do governo francês e no governo federal dos EUA — cinco organizações sem nada em comum além do uso do MCP para comunicação agente-a-agente.

As vulnerabilidades variam em severidade. A falha do Google, rastreada até a caixa de ferramentas de banco de dados no repositório googleapis/mcp-toolbox, recebeu uma classificação de severidade de 8 em 10. Decorreu da inicialização do cliente HTTP sem validação de redirecionamento e falha em verificar endereços IP de destino antes de enviar solicitações. Um parâmetro especialmente criado poderia redirecionar a caixa de ferramentas para um endpoint interno, permitindo que um atacante fizesse solicitações não autorizadas em nome do agente. A correção do Google envolveu a aplicação de listas de permissão e bloqueio de IPs, validando a URL base na inicialização em vez de no primeiro uso — exatamente o tipo de proteção contra falsificação de solicitação do lado do servidor que funciona em servidores web tradicionais há duas décadas. A vulnerabilidade comparável da Rapid7 recebeu apenas uma classificação de 2.7 apesar de permitir ataques similares.

Mohiuddin chama a técnica de pivô de protocolo porque aproveita a confiança entre diferentes protocolos de comunicação. Um atacante obtém acesso inicial através de um protocolo, explora suposições de confiança para encaminhar instruções maliciosas via um segundo protocolo, e escala para capacidades disponíveis apenas através de outro método. O resultado é um ataque de múltiplas etapas onde cada agente na cadeia faz exatamente o que foi projetado para fazer, o que o torna tão difícil de detectar.

O padrão mais amplo é preocupante. O MCP é um novo padrão que se espalhou rapidamente para milhões de sistemas empresariais antes de passar por endurecimento rigoroso de segurança. Organizações construindo arquiteturas agentivas em grande parte abandonaram os princípios de zero confiança, o modelo de segurança que assume que qualquer nó pode estar comprometido e requer autorização explícita antes de transações sensíveis. Pesquisadores de segurança são claros sobre a correção prática: qualquer coisa passada de um LLM para uma ferramenta deve ser tratada como entrada de uma fonte não confiável na internet, porque em um cenário de injeção de prompt, é exatamente isso que é.

[13:11] Jump Trading deixa GPT-6 Astra executar pesquisa quantitativa de vários dias com revisão humana

A Jump Trading está colocando o GPT-6 Astra para trabalhar em alguns dos problemas mais difíceis de pesquisa quantitativa, e a empresa diz que o novo nível de modelo mudou o que ela pode delegar a agentes.

Lucas Baker, que lidera P&D de LLM na Jump, diz que a mudança é de ajuda curta com código para análise autônoma de vários dias. Com o GPT-6 Astra, sua equipe pode agora definir um problema de pesquisa, um ambiente de trabalho e uma forma de medir se os resultados são bons — então deixar os agentes rodarem por dias, puxando de muitas fontes de dados, fazendo julgamentos sobre o que importa e montando as peças.

O que mais mudou é o loop. Baker diz que os agentes agora podem encontrar melhorias significativas, mesclar e empilhar esses ganhos, julgar a próxima rodada contra a proposta original e se redirecionar ativamente quando os resultados intermediários param de fazer sentido. Uma pessoa ainda dá uma olhada — sobre quais dados puxar, por quanto tempo rodar e se as descobertas se mantêm — mas a orientação constante de cada passo não é mais necessária.

A revisão humana não é opcional. Em uma indústria regulamentada, cada saída, incluindo qualquer sinal de trading que um agente produza, passa pelo mesmo pipeline de revisão rigorosa e com escopo definido que uma gerada por humano. Baker descreve como dar aos agentes um ambiente seguro para produzir o que precisam, e então aplicar validação crítica com aceite humano no final.

A direção de longo prazo que ele chama de "autopesquisa": frotas de agentes, coordenadas por outros agentes, trabalhando em questões de pesquisa abertas com pouco mais do que um sistema definido por humanos, métricas de avaliação e prioridades para começar.

[14:47] OpenAI treina GPT-6 Astra em tarefas de contratação da Ironclad

A OpenAI anunciou o GPT-6 Astra, um modelo de fronteira que treinou em fluxos de trabalho de contratação fornecidos pela Ironclad, a plataforma de contratação com IA. É o primeiro modelo da OpenAI construído com entrada de uma empresa de software parceira e é destinado a tarefas legais e de procurement complexas, como configurar NDAs, configurar processos de aprovação e atualizar cláusulas legais reutilizáveis para que reflitam a jurisdição que o solicitante seleciona.

O processo de treinamento usou 11 tarefas identificadas por funcionários da Ironclad e usuários da OpenAI da Ironclad, cada uma avaliada contra 8 a 50 critérios dependendo da complexidade. Pesquisadores construíram tarefas de treinamento sintéticas a partir de contratos públicos do SEC EDGAR após aplicar filtros projetados para remover informações pessoais, e então usaram aprendizado por reforço para que o modelo pudesse melhorar através de prática e feedback. A Ironclad também forneceu ambientes hospedados onde os modelos podiam executar fluxos de trabalho reais do produto.

Na avaliação de pesquisa, o GPT-6 Astra alcançou uma pontuação média de rubrica de 55,0% em comparação com 41,6% do GPT-5.6 Sol, com o tempo estimado por tentativa caindo de 37,0 minutos para 19,2 minutos. Em uma tarefa de exemplo, o Astra atendeu cerca de 94% dos critérios em aproximadamente 20 minutos, enquanto o Sol atendeu cerca de 85% em aproximadamente 32 minutos. Um modelo de desenvolvimento interno usado durante a construção do Astra atingiu 63,7%.

O trabalho importa porque um agente que perde o rastro de uma regra de negócio no meio de uma tarefa limita o que uma empresa de software pode automatizar com confiança. A CTO da Ironclad, Sunita Verma, disse que os agentes devem entender o ciclo de vida completo da contratação, não apenas ações individuais. A OpenAI está convidando um pequeno número de empresas de software com tarefas profissionais difíceis de automatizar para colaborar, pedindo a cada parceiro exemplos de tarefas, evidências de falha e critérios claros de sucesso.

[16:27] Atlassian e OpenAI aprofundam pacto de IA empresarial com modelos GPT-6

A Atlassian e a OpenAI estão ampliando uma parceria que começou em 2023, colocando os mais novos modelos de raciocínio da OpenAI dentro das ferramentas que milhões de trabalhadores do conhecimento já usam todos os dias. Sob o novo acordo, a família GPT-6 — incluindo GPT-6 Astra e a série GPT-5.6 — vai alimentar agentes em toda a plataforma da Atlassian e dentro do Rovo, o assistente de IA da Atlassian.

O tecido conjuntivo é o Teamwork Graph, uma camada de contexto empresarial que conecta pessoas, projetos, documentos e decisões através do Jira, Confluence, Bitbucket e Looms. O Rovo usa esse grafo para ancorar as respostas do modelo OpenAI no estado real de trabalho de uma empresa. A fonte descreve um product manager se preparando para um lançamento perguntando ao Rovo se a equipe está no caminho certo; o assistente puxa tickets do Jira, documentos do Confluence e tópicos de discussão, e então apresenta bloqueios de engenharia e marcos perdidos em linguagem simples.

A própria organização de engenharia da Atlassian já está profundamente envolvida nisso. Mais de 3.000 desenvolvedores da Atlassian usam o Codex em seus terminais, IDEs e fluxos de revisão de código, e os plugins da Atlassian permitem que esses prompts do Codex alcancem itens de trabalho e documentação técnica ao vivo.

As duas empresas também estão explorando integrações mais profundas com o Jira que permitiriam às equipes atribuir trabalho a agentes de IA, acompanhar o progresso, capturar decisões e revisar resultados. Emparelhado com a plataforma DX da Atlassian para medir o desempenho de engenharia, o objetivo é ajudar líderes a acompanhar o impacto da IA no tempo de ciclo e na experiência do desenvolvedor, mantendo os humanos no circuito.

[17:52] OpenAI lança marcação de texto em água para cumprir regras da UE

A OpenAI está publicando sua abordagem de marcação de texto em resposta à Lei de IA da UE, que exige que provedores de IA generativa rotulem texto gerado por IA de forma legível por máquina. O sistema, chamado textGrain, adiciona um sinal estatístico invisível às escolhas de palavras do modelo; um detector lê esse sinal de volta para julgar se uma passagem veio de um modelo OpenAI. A OpenAI diz que o textGrain igualou ou superou outras abordagens que testaram, incluindo o SynthID para texto, e planeja abrir o código da tecnologia nas próximas semanas.

O lançamento é dividido. Clientes da API em todo o mundo podem aderir às saídas marcadas para modelos selecionados a partir de agora, enquanto a marcação permanece desativada por padrão. Apenas na UE, uma marcação invisível será adicionada ao texto elegível do ChatGPT e Codex nas próximas semanas. O próprio detector está abrindo por solicitação, primeiro limitado a pesquisadores aprovados e organizações especializadas.

Os números de detecção é onde a história fica interessante. Com uma taxa de falso positivo de 1%, o detector captou cerca de 80% das marcações em passagens de psicologia de 200 tokens e aproximadamente 95% em passagens de 400 tokens. Para matemática, onde a escolha de palavras é restrita, a detecção caiu substancialmente. A edição também corrói o sinal: em um teste de 400 tokens, substituir 10% das palavras por sinônimos cortou a detecção de aproximadamente 92% para 66%, e substituir 25% a reduziu para 17%. Em benchmarks no modelo Astra, a OpenAI relata não haver diferença significativa de qualidade entre a saída marcada e não marcada.

A OpenAI é clara sobre o que a marcação não prova. Ela não mede a contribuição humana, não identifica o usuário, não estabelece propriedade, nem verifica precisão, e a ausência de uma marcação detectada não prova que um humano escreveu o texto. O próximo ponto a observar é se o lançamento regional se sustenta na prática, especialmente quando o texto é levemente editado ou traduzido.

[19:41] Truque de copiar-colar expõe uso de água e energia do data center do Google em Nebraska

Um repórter de uma estação de TV de Nebraska expôs a pegada de água e eletricidade de três data centers do Google copiando texto redado de um arquivamento estadual para outro documento. As redações, aplicadas como caixas pretas sobre o texto original, saíram com um highlight e colagem. O Departamento de Água, Energia e Meio Ambiente do estado havia aceitado a alegação da Google LLC de que as cifras eram segredos comerciais, bloqueando o acesso público.

O que saiu: Agate LLC, o site do Google em Lincoln, reportou 52,65 megawatts de demanda máxima de eletricidade e 13,299 megagalões de água em refrigeração e operações do local no ano passado, aproximadamente 13 milhões de galões, suficientes para encher cerca de 20 piscinas olímpicas, mas menos da metade do que a Cidade de Lincoln consumiu em 29 de setembro. Fireball Group LLC, o site de Papillion, reportou 547,88 megagalões para 2025, o mais alto de qualquer data center de Nebraska reportando a partir de 30 de setembro. Os seis sites reportando juntos usaram 765 milhões de galões no ano passado, aproximadamente 1.160 piscinas olímpicas.

Os arquivamentos também divulgam restituições de imposto de vendas de 2025 que o Google espera: US$ 55,8 milhões de Lincoln, US$ 39,2 milhões de Papillion e US$ 22,6 milhões do site de Omaha, Westwood Solutions LLC, que ocupa 288.530 pés quadrados, cerca de cinco campos de futebol.

Os relatórios foram submetidos sob a ordem executiva de 20 de julho do Governador Jim Pillen exigindo que data centers divulguem seu impacto em água, energia e infraestrutura local. O Google citou os estatutos de segredo comercial de Nebraska para manter os números selados. 10/11 arquivou um pedido de registros públicos em 30 de setembro para ver os dados subjacentes.

Para qualquer pessoa escolhendo onde executar cargas de trabalho, a história transforma o estresse de água e da rede elétrica em um registro público, e dá aos repórteres locais um método de copiar-colar para ler redações semelhantes em outros lugares.

[21:25] Agent Lightning v1.0 Treina Arneses de Agentes Reais Com Aprendizado por Reforço

A Microsoft Research Asia abriu o código do Agent Lightning v1.0, um framework de aproximadamente 3.500 linhas que treina agentes de IA usando o mesmo arnês que roda em produção. A maioria dos sistemas de aprendizado por reforço para agentes força desenvolvedores a reconstruir o agente dentro do loop de treinamento, o que significa que o agente treinado diverge do implantado. O Agent Lightning contorna isso posicionando um proxy de LLM compatível com OpenAI entre o agente e o modelo, gravando prompts, respostas e probabilidades de log enquanto deixa o código do arnês existente inalterado.

O framework tem três peças: um API Gateway que armazena rollouts e atua como proxy, um Rollout Controller que executa agentes como processos locais ou jobs padrão de Kubernetes, e um Treinador Personalizado construído sobre o verl. O suporte nativo a Kubernetes significa que agentes rodam em clusters autogerenciados, Kubernetes em nuvem ou máquinas locais sem pagar por sandboxes comerciais como Modal ou E2B.

Um novo modo Collocated Async RL permite que rollouts e atualizações de modelo compartilhem um único pool de GPUs. O API Gateway pausa solicitações recebidas, espera as em voo terminarem, executa a atualização e retoma rollouts, tudo transparente para o arnês. A Microsoft relata cerca de 2x de speedup de ponta a ponta sobre RL síncrono em experimentos.

Para provar a receita, a equipe executou um pipeline de agente de codificação end-to-end no Qwen3.5-9B. O Pass@1 no SWE-bench Verified subiu de 41,8% para 56,4%, um ganho de 14,6 pontos percentuais, usando apenas cerca de 6.000 amostras de treinamento extraídas de um dataset aberto. Os quatro desafios de engenharia que eles destacam são a retokenização em chamadas de harness, o cálculo de vantagem quando um rollout se divide em muitas amostras, a normalização de perda que não conta em dobro, e o agendamento de cargas de trabalho variáveis em pools fixos de GPU.