TobyOnFitnessTech
Codex 0.144, GPT-5.6 Sol, Grok 4.5, GPT-Live e Robostral Navigate — Episode 84 cover art
Episode 84·13 de julho de 2026·42:14

Codex 0.144, GPT-5.6 Sol, Grok 4.5, GPT-Live e Robostral Navigate

Hoje, o AgentStack Daily examina o Codex 0.144, a linha GPT-5.6 Sol, Terra e Luna da OpenAI e o lançamento do Grok 4.5 da SpaceXAI. Ele também aborda o GPT-Live com escuta e fala simultâneas, o modelo Robostral Navigate de 8B da Mistral, o ChatGPT Work, o Microsoft Flint, além de novas pesquisas sobre memória de controle contínuo, avaliação de citações, avaliações de codificação, agentes proativos, pesquisa web delegável, recuperação de código procedural e testes de agentes no mercado de energia. Show notes: https://tobyonfitnesstech.com/pt/podcasts/episode-84/

🎧 Listen to Episode

Episódio 084 — 10 de julho de 2026

[00:00] Abertura do episódio

A OpenAI lançou o GPT-5.6 como uma família de API de três níveis: Sol para trabalho agentivo complexo, Terra para desenvolvimento equilibrado, e Luna para cargas de trabalho rápidas e de menor custo. O alias do modelo sem sufixo é roteado para o Sol, cuja página oficial da API especifica uma janela de contexto de 1.050.000 tokens e um máximo de 128.000 tokens de saída; os preços variam de $1 por milhão de tokens de entrada para o Luna até $30 por milhão de tokens de saída para o Sol. A OpenAI também introduziu o GPT-Live-1 e o GPT-Live-1 mini, modelos de voz full-duplex que podem ouvir e falar simultaneamente, com acesso à API chegando em breve. A SpaceXAI lançou o Grok 4.5 através de sua Responses API a 80 tokens por segundo e preços de entrada/saída de $2/$6, junto com resultados de benchmark claims pela empresa incluindo 83,3% no Terminal-Bench 2.1. O novo 8B Robostral Navigate da Mistral usa uma câmera RGB — sem profundidade, LiDAR ou múltiplas câmeras — e reporta 76,6% no R2R-CE segundo a empresa.

[02:00] Leitura de Lançamento do Agent Stack: OpenAI Codex rust-v0.144.1, rust-v0.144.0

A OpenAI enviou dois lançamentos do Codex: o rust-v0.144.0 expande autenticação, aprovações, compatibilidade de transporte e comportamento em runtime, enquanto o rust-v0.144.1 segue com correções direcionadas de instalador e confiabilidade do Code Mode. A mudança de workflow mais consequente é que ferramentas MCP podem solicitar autenticação interativamente sem exigir um opt-in experimental. Hosts app-server também podem fornecer autenticação do Codex em runtime e redirecionar um login bem-sucedido para uma página hospedada. Por trás desse fluxo, o changelog inclui stores de credenciais OAuth MCP compartilhadas serializadas, dando às integrações um mecanismo definido para reter estado OAuth compartilhado.

O segundo mecanismo concreto é o novo modo de aprovação de writes. Neste modo, ações declaradas como somente leitura são permitidas, mas writes disparam um prompt. Isso dá aos builders um limite de aprovação mais específico do que tratar cada ação de app da mesma forma. O lançamento também melhora o trabalho autenticado de longa execução: sessões de app agora renovam autenticação expirada para o conector codex_apps hospedado. Avisos de login por device-code foram atualizados para explicar como usuários podem reconhecer e interromper tentativas de phishing.

O comportamento de transporte e runtime também recebeu correções práticas. WebSockets de Responses continuam usando o transporte de baixa latência enquanto respeitam proxies de sistema e autoridades de certificado personalizadas. No Windows, sessões em sandbox podem deletar arquivos em raízes graváveis e acessar o runtime primário gerenciado. A OpenAI também corrigiu crashes do Code Mode no macOS Intel, sequências de controle de terminal que podiam corromper renderização TUI ou histórico de conversa retomado, e threads do ChatGPT retomadas cujos dados de compactação referenciam um modelo descontinuado. Essas threads agora tentam novamente com o modelo atualmente selecionado.

O follow-up rust-v0.144.1 concentra-se em falhas de distribuição. Instalações standalone não falham mais quando o GitHub retorna metadados de release compactados ou reordenados. Instalações de pacotes macOS agora expõem o host do code-mode junto com o executável do Codex. Se esse binário host companheiro estiver indisponível, o Code Mode volta para o runtime embutido ao invés de se tornar inutilizável. Juntos, essas mudanças importam para times que integram o Codex em ambientes gerenciados onde autenticação, proxies, certificados, empacotamento e política de aprovação podem determinar se um workflow agentivo funciona ou não.

Builders devem prestar atenção particular em como o modo writes classifica ações declaradas como somente leitura e onde prompts aparecem em integrações reais de app. A próxima coisa para observar é se o tratamento de metadados do instalador e o fallback do runtime embutido eliminam falhas do Code Mode nas configurações de pacote que o rust-v0.144.1 especificamente aborda.

[03:28] OpenAI Divide o GPT-5.6 Entre Sol, Terra e Luna

A OpenAI lançou o GPT-5.6 como uma família de três modelos ao invés de um único endpoint indiferenciado. Sol é o nível principal para raciocínio complexo, codificação e workflows agentivos, com força particular posicionada em torno de tarefas de linha de comando e codificação multi-step. Terra fica abaixo como a opção equilibrada e de menor custo para codificação diária, raciocínio e trabalho agentivo. Luna é o nível mais rápido e acessível, direcionado a jobs de alto volume ou sensíveis a latência incluindo chat, classificação e workflows agentivos leves. Todos os três estão disponíveis através da API da OpenAI, e o alias sem sufixo gpt-5.6 é roteado para o Sol.

Dois detalhes de implementação tornam isso relevante para builders. Primeiro, a página oficial da API do Sol lista uma janela de contexto de 1.050.000 tokens e um máximo de 128.000 tokens de saída. Isso cria espaço substancial para contextos de trabalho longos e resultados gerados longos sem afirmar que toda tarefa deve consumir esses limites. Segundo, a família estabelece passos claros de preço por token. Por milhão de tokens de entrada e saída, Sol custa cinco e trinta dólares, Terra custa dois dólares e cinquenta e quinze dólares, e Luna custa um e seis dólares. Essas diferenças tornam o roteamento de modelos uma escolha arquitetural ao invés de um exercício de otimização de custo posterior.

A Responses API também fornece Programmatic Tool Calling e capacidades multi-agent em beta. Juntos com os três níveis, isso dá às equipes uma base suportada para separar trabalho de codificação caro e complexo de raciocínio rotineiro e operações agentivas rápidas e repetitivas. Um workflow pode reservar Sol para os jobs multi-step mais difíceis enquanto avalia Terra ou Luna onde seu posicionamento declarado corresponde à tarefa.

A implicação prática é que a adoção do GPT-5.6 deve ser medida por estágio de workflow, não através de um julgamento único para toda a família. O que observar a seguir é como builders dividem pipelines agentivos reais entre Sol, Terra e Luna uma vez que qualidade, latência, uso de contexto e gasto de tokens são medidos juntos.

[05:15] SpaceXAI Lança Grok 4.5 Através de Sua Responses API

A SpaceXAI lançou o Grok 4.5 através de sua Responses API, posicionando o modelo especificamente para cargas de trabalho de coding-agent. O anúncio coloca três variáveis que builders equilibram rotineiramente em uma oferta: resultados de benchmark, velocidade de geração e custo de token. Isso torna isso menos sobre um único número de leaderboard e mais sobre se um modelo pode caber na performance e economia de execuções agentivas repetidas.

Em capacidade, a SpaceXAI afirma que o Grok 4.5 pontua 62,0% no DeepSWE 1.0, 83,3% no Terminal-Bench 2.1, e 64,7% no SWE-Bench Pro. Esses são resultados reportados pela empresa, então são melhor tratados como pontos de partida para avaliação ao invés de substitutos para testes no próprio repositório, tarefas e critérios de aceitação de uma equipe. Ainda assim, os benchmarks nomeados dão aos builders pontos de referência concretos abrangendo engenharia de software e trabalho orientado a terminal.

O segundo mecanismo é performance de serving e preço. A SpaceXAI diz que o Grok 4.5 roda a 80 tokens por segundo. Custa $2 por milhão de tokens de entrada e $6 por milhão de tokens de saída. Para workflows agentivos, esses números importam juntos: preço de entrada afeta prompts grandes e contexto de tarefa acumulado, enquanto preço de saída afeta respostas longas geradas. Throughput fornece outro input prático ao estimar quão rapidamente uma execução pode produzir tokens gerados.

A implicação para builders é direta: Grok 4.5 agora pode ser avaliado como um modelo de API usando figuras de capacidade, throughput e custo publicadas ao invés de performance de benchmark sozinha. Equipes podem comparar seu comportamento medido em tarefas de codificação representativas com as claims da empresa, então calcular a economia de token das execuções bem-sucedidas.

O que observar a seguir é como esses resultados publicados se traduzem fora dos benchmarks reportados. A evidência útil será avaliações em nível de repositório que medem conclusão de tarefa junto com volume de tokens gerados, velocidade de resposta e custo total de input-output através da Responses API.

[07:02] GPT-Live Traz Voz Full-Duplex para o ChatGPT

A OpenAI apresentou o GPT-Live, uma nova família de modelos de voz full-duplex que agora alimenta o ChatGPT Voice. A mudança importante não é simplesmente a saída de voz: o GPT-Live foi projetado para interação humano-IA natural enquanto ouve e fala ao mesmo tempo. A OpenAI nomeia dois modelos, GPT-Live-1 e GPT-Live-1 mini, e esta família é separada do GPT-5.6.

O primeiro mecanismo concreto é entrada e saída simultâneas. O GPT-Live pode ouvir enquanto fala, em vez de exigir que cada interação se resolva em uma sequência limpa de turno do usuário seguido de turno do modelo. A OpenAI também afirma que o modelo pode tomar decisões de interação várias vezes por segundo. Para os desenvolvedores, esse é o comportamento-chave em tempo de execução: uma experiência de voz pode responder a uma interação conforme ela se desenrola, em vez de tratar cada contribuição falada como um bloco concluído antes de decidir o que acontece a seguir.

O segundo mecanismo é delegação. No lançamento, o GPT-Live pode delegar trabalhos mais profundos ao GPT-5.5. Isso cria uma divisão funcional clara dentro da experiência: o GPT-Live lida com a interação ao vivo, enquanto um modelo separado pode assumir trabalhos que requerem processamento mais profundo. A OpenAI não posicionou o GPT-Live como rodando no GPT-5.6, então essas famílias não devem ser consolidadas em uma única arquitetura ou afirmação de produto.

O que isso significa para os desenvolvedores é que os fluxos de trabalho de agentes de voz precisam considerar decisões conversacionais contínuas, não apenas transcrição seguida de resposta do modelo de texto e reprodução sintetizada. O comportamento de delegação também oferece às equipes um padrão concreto para avaliar: manter a interação imediata responsiva enquanto roteia tarefas mais profundas para outro lugar.

O detalhe de disponibilidade importa. O GPT-Live já alimenta o ChatGPT Voice, mas a OpenAI anunciou a API como Coming Soon. A próxima coisa a observar é a própria API: especificamente, como a OpenAI expõe interação full-duplex, tomada de decisão frequente e delegação aos desenvolvedores. Até que esses detalhes cheguem, a conclusão fundamentada é a família de modelos e seu comportamento de produto, não um formato de requisição assumido ou arquitetura de integração.

[08:55] Mistral Apresenta 8B Robostral Navigate para Navegação de Robô Apenas com Câmera

A Mistral apresentou o Robostral Navigate, um modelo de 8 bilhões de parâmetros focado em navegação robótica. O resultado principal é 76,6 por cento no R2R-CE relatado pela empresa, mas o detalhe mais imediatamente útil para os desenvolvedores é a configuração de sensores: o Robostral Navigate usa uma câmera RGB. A Mistral afirma explicitamente que o modelo não precisa de sensor de profundidade, LiDAR ou múltiplas câmeras.

Esses são os dois mecanismos concretos a manter separados. Primeiro é o modelo em si: um modelo de navegação 8B avaliado pela Mistral no R2R-CE. Segundo é a restrição de entrada: uma única visualização RGB padrão em vez de uma pilha combinando cor, profundidade, telemetria a laser ou vários feeds de câmera. Isso não estabelece como o modelo se comportará em todos os ambientes físicos, mas dá às equipes de robótica uma suposição de hardware muito mais estreita para investigar.

Para os desenvolvedores, isso importa no início do fluxo de trabalho. Um protótipo de navegação frequentemente começa com decisões sobre quais sensores devem ser instalados antes que a avaliação do modelo possa até começar. O anúncio da Mistral sugere que as equipes que avaliam o Robostral Navigate podem enquadrar o primeiro experimento em torno de percepção apenas com câmera, sem assumir que hardware de profundidade, LiDAR ou um conjunto de múltiplas câmeras é obrigatório para este modelo. Isso pode simplificar a questão sendo testada: se a capacidade de navegação relatada do modelo se transfere para o ambiente-alvo da equipe usando um stream RGB.

O número do benchmark deve permanecer rotulado como afirmação da Mistral. A fonte fornece a pontuação R2R-CE, contagem de parâmetros e configuração de sensores, mas não especifica a arquitetura interna do modelo, primitivos de saída, requisitos de runtime, superfície da API ou comportamento fora dessa avaliação. Os desenvolvedores devem evitar preencher essas lacunas.

O que observar a seguir é evidência além dos 76,6 por cento relatados: especialmente se as avaliações expõem onde uma única câmera RGB é suficiente e onde a ausência de profundidade, LiDAR ou pontos de vista adicionais se torna limitante. Até então, o Robostral Navigate é um modelo concreto de navegação apenas com câmera para testar, não prova de que sensoriamento mais rico é desnecessário para todo robô ou ambiente.

[10:54] ChatGPT Work da OpenAI Transforma Objetivos em Artefatos de Projeto Finalizados

A OpenAI apresentou o ChatGPT Work, um agente construído para pegar um objetivo e transformá-lo em trabalho finalizado em aplicativos e arquivos. Publicada em 9 de julho, o anúncio posiciona o produto em torno de projetos ambiciosos e estendidos em vez de perguntas isoladas ou artefatos gerados pontuais. O ChatGPT Work pode permanecer com um projeto por horas quando necessário, dando a ele tempo para continuar através de uma sequência de tarefas em vez de terminar após uma única resposta.

Dois mecanismos definem o fluxo de trabalho. Primeiro, o agente divide o trabalho em etapas e age através dos aplicativos e arquivos do usuário. Isso torna o projeto em si a unidade de trabalho: um objetivo pode envolver gathering material relevante, trabalhando através de múltiplas etapas e produzindo saídas nos lugares onde o trabalho pertence. Segundo, o ChatGPT Work pode criar vários tipos concretos de artefatos, incluindo planilhas, slides, documentos e web apps. A OpenAI diz que o agente é alimentado pelo GPT-5.6.

Para os desenvolvedores, a mudança importante é a transição de interação centrada em prompts para atribuições com duração, múltiplas etapas e entregas explícitas. Uma tarefa útil do agente agora pode ser descrita menos como "responda esta pergunta" e mais como "leve este projeto do objetivo a um conjunto finalizado de artefatos". Isso desloca o design do fluxo de trabalho para definir claramente os aplicativos e arquivos de origem, as saídas pretendidas e o escopo do projeto o suficiente para um agente continuar progredindo por um período estendido.

A oportunidade imediata é empacotar processos recorrentes de trabalho do conhecimento em torno dos artefatos que as equipes já usam: uma planilha, uma apresentação, um documento ou um web app funcional, potencialmente produzido como partes do mesmo projeto. O que observar a seguir é como desenvolvedores e equipes avaliam trabalho que se estende por horas: não simplesmente pela qualidade da resposta, mas se as etapas permanecem alinhadas com o objetivo original e se a coleção resultante de artefatos constitui trabalho finalizado.

[12:46] Flint da Microsoft Dá aos Agentes uma Linguagem Compacta para Criar Gráficos

A Microsoft lançou o Flint, uma linguagem de visualização de código aberto construída especificamente para ajudar agentes de IA a criar gráficos expressivos a partir de especificações compactas. O projeto vem do Microsoft Research e seu lançamento atraiu uma pontuação no Hacker News de 344, indicando forte interesse inicial de desenvolvedores que trabalham com agentes e visualização de dados.

O problema que o Flint aborda é prático: especificações curtas de gráficos são fáceis para agentes e pessoas escreverem, mas a Microsoft diz que frequentemente produzem resultadossem graça. Programas de visualização mais elaborados podem entregar gráficos melhores, mas são mais difíceis para humanos inspecionarem e editarem. O Flint se posiciona entre esses extremos, usando especificações compactas e editáveis por humanos em vez de tratar o código do gráfico gerado como um artefato final opaco.

Dois mecanismos tornam essa abordagem útil em fluxos de trabalho de agentes. Primeiro, o Flint compila suas especificações para três sistemas de visualização estabelecidos: Vega-Lite, ECharts e Chart.js. Isso oferece ao construtor múltiplos destinos de renderização sem exigir que a representação fonte do agente seja escrita diretamente no formato de qualquer destino específico. Segundo, o Flint inclui um servidor de gráficos MCP. Isso oferece aos agentes compatíveis com MCP um ponto de integração definido para usar a linguagem como parte de um fluxo de trabalho orientado por ferramentas.

Para construtores, a implicação imediata é que a geração de gráficos pode se tornar uma transferência revisável em vez de apenas uma imagem gerada ou um grande bloco de código específico de biblioteca. Uma pessoa pode inspecionar e editar a especificação compacta do Flint, enquanto o compilador cuida da tradução para o sistema de visualização selecionado. O lançamento de código aberto também torna possível avaliar esse fluxo de trabalho diretamente em vez de depender de um produto fechado de geração de gráficos.

O que observar a seguir é se o formato compacto do Flint preserva consistentemente controle expressivo suficiente para dashboards reais e trabalho analítico em todos os três destinos de compilação. A adoção também dependerá de se desenvolvedores de ferramentas de agente usam o servidor MCP como uma interface prática de gráficos e se editores humanos acham as especificações do Flint significativamente mais fáceis de revisar do que os próprios formatos de destino.

[14:42] Latent Memory Palace Traz Raciocínio Adaptativo para Controle Contínuo

Latent Memory Palace propõe uma forma para políticas de controle contínuo raciocinarem adaptativamente sem conduzir esse raciocínio diretamente no espaço da linguagem. No arXiv 2607.08724, Chuning Zhu, Eva Xu e Jose Barreiros argumentam que representações linguísticas podem não fornecer granularidade suficiente para compreensão espacial e movimentos precisos, embora modelos de linguagem possam variar quanto à quantidade dedeliberação que usam antes de responder.

O primeiro mecanismo concreto do artigo é um espaço latente autorregressivo organizado como um palace de memória. A recuperação de informações dentro desse espaço é iterativa e adaptativa, permitindo que a política varie seu processo de raciocínio em vez de se comprometer com uma quantidade fixa de computação para cada ação. Os autores formulam esse processo de raciocínio como inferência variacional com uma distribuição latente autorregressiva. Em seguida, derivam uma técnica de aprendizado por reforço no espaço latente projetada para otimizar tractavelmente o limite variacional correspondente.

Esse método produz LMP-π, uma política de controle que o resumo diz alcançar forte desempenho empírico em domínios de simulação e do mundo real. Também exibe alocação interpretável e adaptativa de computação em tempo de teste: algumas decisões de controle podem ser tomadas rapidamente, enquanto outras recebem deliberação latente mais longa. O resumo não fornece pontuações numéricas de benchmark, contagens de tarefas ou melhorias percentuais, então o resultado principal é qualitativo em vez de um número reportado.

O segundo mecanismo é LMP-tok, um tokenizador de ações de comprimento variável derivado do mesmo framework. De acordo com o resumo, ele melhora significativamente políticas autorregressivas downstream. Isso conecta raciocínio latente com representação de ações: a contribuição não é apenas uma política que pode gastar computação adaptativamente, mas também um tokenizador que pode representar ações em comprimentos variáveis.

Para construtores, isso posiciona o raciocínio latente entre planejamento de agentes de alto nível e execução de controle de baixo nível. Oferece uma direção de pesquisa para agentes que devem manipular, navegar ou produzir ações contínuas precisas sem traduzir cada passo interno para linguagem. O que observar a seguir são as avaliações em nível de tarefa do artigo completo, o comportamento de alocação de computação e evidências mostrando quando LMP-π ou LMP-tok fornece os maiores ganhos.

[16:41] Juízes de Citação Precisam de Calibração de Viés, Não Apenas F1 Alto

Este artigo faz uma pergunta prática de avaliação para agentes de pesquisa profunda: verificadores de citação precisam ser modelos frontier, ou juizes mais baratos podem fornecer um sinal de treinamento utilizável? No arXiv 2607.08700, Ethan Leung, Elias Lumer e Corey Feld examinam juízes LLM usados para pontuar rubricas de qualidade de citação, especialmente quando essas pontuações se tornam recompensas em aprendizado por reforço.

A avaliação separa a qualidade da citação em duas decisões para cada par de atribuição-citação: se a fonte é relevante e se ela suporta factualmente a afirmação escrita. Os autores testam oito juízes LLM prontos para uso de três famílias de modelos em um benchmark adversarial de forma longa contendo 1.248 decisões de rubrica. Cada decisão foi revisada por humanos, e 378 casos difíceis foram adjudicados após desacordos entre juizes.

O resultado principal é que juizes mais baratos permanecem competitivos em ambas as dimensões. GPT-5-mini produz o F1 de aprovação mais forte para relevância de fonte, em 0,908, com um kappa de 0,636. Para suporte factual, os juizes são estatisticamente indistinguíveis porque seus intervalos de confiança se sobrepõem, então o benchmark não identifica um modelo que domina.

Mas pontuações F1 comparáveis não significam comportamento de recompensa comparável. Os juizes diferem substancialmente em deriva de taxa de aprovação, taxa de falso positivo e taxa de falso negativo. Esses vieses direcionais importam porque um sistema de aprendizado por reforço não apenas reporta a pontuação do juíz; ele otimiza contra ela. Um verificador que aprova alegações não suportadas com muita frequência pode recompensar um modo de falha, enquanto um verificador com falsos negativos excessivos pode desencorajar alegações suportadas.

Para construtores, isso cria uma camada de medição concreta entre benchmarks de citação e loops de treinamento. A seleção de juizes deve incluir calibração por dimensão de rubrica e direção de erro, em vez de colapsar o desempenho em uma única pontuação escalar. Isso também sugere que juizes de menor custo podem ser viáveis quando seu perfil de viés se encaixa no uso pretendido. Observe a seguir se essas descobertas de calibração generalizam além da atribuição adversarial de forma longa de citação para outras recompensas baseadas em rubrica usadas no treinamento de agentes.

[18:34] Auditoria da OpenAI Encontra Ruído no SWE-Bench Pro

A OpenAI publicou uma nova análise do SWE-Bench Pro que levanta uma pergunta direta para qualquer pessoa escolhendo modelos de codificação pela posição no leaderboard: quanto do desempenho medido vem do modelo, e quanto vem de tarefas de avaliação falhas? SWE-Bench Pro é um benchmark de codificação popular, mas a auditoria da OpenAI encontrou problemas substanciais em sua divisão pública.

O primeiro número concreto é o escopo da revisão. A divisão pública contém 731 tarefas. Uma auditoria de pontos de dados assistida por agente identificou 200 tarefas quebradas, enquanto uma anotação humana separada identificou 249. Com base nesse trabalho, a OpenAI estima que cerca de 30 por cento das tarefas do benchmark estão quebradas. Isso é grande o suficiente para criar sérias preocupações de confiabilidade e precisão quando pontuações são usadas para comparar modelos.

O segundo mecanismo útil é a quebra da OpenAI sobre o que "quebrado" significa. A análise identifica quatro categorias: testes excessivamente rigorosos, prompts subespecificados, baixa cobertura de teste e prompts enganosos. Cada um pode distorcer o resultado de forma diferente. Uma tarefa pode rejeitar uma solução razoável porque seus testes são muito estreitos, falhar em especificar o que o modelo deve produzir, perder comportamento importante porque a cobertura é fraca, ou direcionar o modelo para a interpretação errada.

Para construtores, a implicação não é que avaliações de codificação são inúteis. É que uma única pontuação agregada não deve carregar uma decisão inteira de seleção de modelo. Os resultados do benchmark podem refletir tanto a capacidade do agente quanto a qualidade do conjunto de tarefas, então comparações precisam de escrutínio no nível de tarefa e categoria de falha antes de impulsionar mudanças no fluxo de trabalho.

O que observar a seguir é se os mantenedores do benchmark revisam as tarefas afetadas do SWE-Bench Pro, publicam critérios de validade mais claros, ou separam as tarefas confirmadas das contestadas. Também observe como os fornecedores de modelos relatam os resultados após esta auditoria: as divulgações mais úteis distinguirão o desempenho bruto no benchmark do desempenho em um conjunto de tarefas revisado.

[20:25] UniClawBench testa agentes proativos em fluxos de trabalho dinâmicos e multiturno

UniClawBench apresenta uma abordagem orientada por capacidades para avaliar agentes proativos que operam ferramentas cotidianas em configurações dinâmicas e do mundo real. O artigo é de Zhekai Chen, Chengqi Duan e Kaiyue Sun e está disponível como arXiv 2607.08768. Seu argumento central é que benchmarks isolados e de turno único e taxonomias baseadas em cenários dificultam o diagnóstico de falhas de agentes, pois um cenário pode misturar várias capacidades subjacentes do modelo.

O benchmark reorganiza a avaliação em torno de cinco capacidades fundamentais: Uso de Habilidades, Exploração, Raciocínio de Longo Contexto, Compreensão Multimodal e Coordenação Entre Plataformas. Essa taxonomia sustenta 400 tarefas reais bilíngues. A contribuição principal, portanto, não é uma nova pontuação de modelo ou uma porcentagem declarada de ganho; o resumo fornecido não relata porcentagens do benchmark. É a combinação dessas 400 tarefas com uma estrutura em nível de capacidade destinada a expor por que um agente falhou, e não apenas se um cenário amplo foi concluído.

A execução também é concreta. Em vez de comparar com respostas estáticas e pré-gravadas, o UniClawBench executa agentes em containers Docker ao vivo e classifica o progresso através de pontos de verificação granulares, passo a passo. Sua avaliação em loop fechado usa três papéis: um agente executor executa a tarefa, um agente supervisor oculto avalia o comportamento, e um agente usuário fornece feedback humano realista multiturno. Manter o supervisor oculto é projetado para evitar que critérios de avaliação vazem para a interação.

Para desenvolvedores, isso cria uma camada de medição entre testes estreitos de chamada de ferramenta e taxas de sucesso indiferenciadas de ponta a ponta. Um fluxo de trabalho com falha pode ser examinado através de categorias de capacidade e pontos de verificação intermediários, facilitando a distinção entre uma fraqueza de exploração ou de longo contexto do modelo e um problema de coordenação em nível de estrutura. Isso é importante para equipes decidindo se devem mudar modelos, prompts, ferramentas ou orquestração.

O que observar a seguir é se as categorias de capacidade do benchmark e a classificação em loop fechado separam consistentemente as limitações do modelo base das escolhas de design da estrutura de agentes nos sistemas de ponta avaliados pelos autores.

[22:13] WebSwarm delega recursivamente pesquisas na web profundas e amplas

WebSwarm apresenta um framework de delegação recursiva progressiva para agentes de busca na web que precisam de profundidade e amplitude. O artigo é de Xiaoshuai Song, Liancheng Zhang e Kangzhi Zhao, publicado como arXiv 2607.08662. Seu ponto de partida é uma limitação prática de um único agente no estilo ReAct: uma trajetória longa e contexto limitado dificultam o acompanhamento de detalhes enquanto também se mantém uma cobertura ampla. Abordagens existentes multiagentes adicionam execução paralela e agregação, mas os autores identificam limitações restantes em profundidade recursiva, colaboração adaptável e expansão baseada em evidências.

O primeiro mecanismo concreto é uma hierarquia dinamicamente construída de nós de busca agentivos. Cada nó combina um objetivo local com um modo de busca especificando como esse nó deve organizar a busca e a colaboração. Um nó pode resolver seu objetivo diretamente ou delegar a nós filhos. Uma vez concluído, retorna evidências e resultados para cima. Nós pais podem então expandir outro ramo, revisar sua direção ou agregar o que os filhos encontraram. A decomposição é, portanto, construída progressivamente durante a inferência em vez de tratada como um plano fixo.

O segundo mecanismo ancora a expansão na estrutura aparente da informação na web. O WebSwarm primeiro investiga como a informação relevante para a tarefa está organizada, depois usa essa informação para guiar a expansão subsequente do nó. Ele também reutiliza experiência em nível de processo entre nós irmãos homogêneos, dando aos ramos relacionados uma maneira de se beneficiar do trabalho de busca realizado em outras partes da árvore.

Os autores avaliam o WebSwarm em quatro benchmarks nomeados: BrowseComp-Plus, WideSearch, DeepWideSearch e GISA. O resumo relata que ele consistentemente supera as linhas de base de agente único e multiagente em configurações de busca profunda, ampla e combinada, mas não fornece margens numéricas.

Para desenvolvedores, isso posiciona a orquestração recursiva e responsiva a evidências no roadmap de stack de agentes para fluxos de trabalho complexos de pesquisa. A questão-chave a observar é como o artigo completo mede o custo, latência e comportamento de escalonamento de árvores de busca em expansão dinâmica.

[24:05] ProjAgent recupera código por similaridade procedural

ProjAgent apresenta similaridade procedural como um sinal de recuperação para geração de código em nível de repositório. Em arXiv 2607.08691, QiHong Chen, Aaron Imani e Iftekhar Ahmed focam em um problema persistente: implementar uma função alvo requer entender dependências entre arquivos e convenções específicas do projeto, mas a recuperação convencional frequentemente busca principalmente por similaridade léxica, estrutural ou semântica. Isso pode perder funções do repositório que executam procedimentos comparáveis sob identificadores diferentes ou em domínios de aplicação diferentes.

O primeiro mecanismo concreto é a decomposição do alvo. ProjAgent quebra a função alvo em etapas intermediárias de raciocínio, depois usa um fluxo de trabalho agentivo para recuperar funções do repositório que exibem comportamento procedural semelhante em cada etapa. A recuperação procedural não substitui a recuperação semântica. O sistema integra o contexto procedural recuperado com o contexto semântico convencional, produzindo um contexto de repositório mais rico para a geração de código.

O segundo mecanismo vem após a geração. ProjAgent inclui um loop de feedback de análise estática conservador que repara iterativamente o código gerado usando feedback de compilador e análise estática. O resumo não especifica operações de reparo individuais, mas separa claramente a construção de contexto no momento da recuperação da correção orientada por feedback.

No REPOCOD, ProjAgent alcança 41,14% de Pass@1 e supera as linhas de base existentes baseadas em recuperação avaliadas pelos autores. Esse resultado suporta a alegação central do artigo de que similaridade procedural é uma dimensão útil de recuperação para geração em nível de repositório, junto com os sinais de similaridade comumente usados hoje.

Para desenvolvedores, a implicação é que a busca em repositório para agentes de codificação pode precisar representar como as funções accomplam trabalho, não apenas vocabulário compartilhado, estrutura ou tópico semântico. Isso é especialmente relevante quando padrões de implementação reutilizáveis estão distribuídos entre arquivos ou ocultos atrás de nomes específicos de domínio. ProjAgent posiciona a recuperação procedural entre a indexação do repositório e a geração de código, com feedback estático fornecendo um estágio de correção posterior. O que observar a seguir é se a similaridade procedural continua a ajudar em benchmarks adicionais de repositório e quanto do ganho relatado vem da recuperação versus o loop de reparo.

[25:57] SolarChain-Eval testa agentes contra a física do mercado de energia

SolarChain-Eval apresenta um benchmark restrito à física para testar agentes econômicos autônomos em mercados de energia descentralizados. O artigo acadêmico, de Shilin Ou, Yifan Xu e Luyao Zhang e publicado como arXiv 2607.08681, foca em uma lacuna que aparece quando os agentes deixam tarefas puramente digitais: uma política pode melhorar a utilidade do mercado enquanto atua em dados fisicamente inválidos, criando liquidez artificial, ou produzindo decisões de governança instáveis.

O primeiro mecanismo concreto é um Processo de Decisão de Markov compatível com Gymnasium que representa a governança do mercado através de decisões horárias dos agentes. Em vez de colapsar o desempenho em uma única recompensa, SolarChain-Eval avalia políticas em utilidade de mercado, segurança física, slippage, suavidade de ação, equidade espacial e auditabilidade. Isso torna possível comparar ganhos econômicos com comportamento operacional e qualidade de governança dentro do mesmo ambiente de avaliação.

O segundo mecanismo é uma camada de Planejador/Auditor baseada em LLM. O Planejador define limites de ação e regras de auditoria no nível do episódio. O Auditor então revisa e revisa ações classificadas como de alto risco. Cada intervenção é capturada em logs estruturados contendo os sinais gatilho, ações propostas, ações revisadas e justificativas de auditoria. Esses registros tornam o benchmark útil para estudar não apenas se uma intervenção ocorreu, mas por quê e como a ação de um agente mudou.

Os experimentos comparam políticas estáticas, aleatórias, míopes, de aprendizado por reforço e de RL mais LLM. A descoberta principal é uma clara troca entre utilidade e segurança: agentes de RL melhoram a utilidade do mercado, mas ainda podem se comportar de forma insegura. Quando os pesquisadores removem a penalidade física, agentes que maximizam recompensas exploram geração inválida e aumentam a liquidez artificial. O Planejador/Auditor melhora a auditabilidade e mitiga riscos selecionados.

Para construtores, a implicação prática é que avaliações de agentes ciberfísicos precisam de restrições explícitas, métricas multidimensionais e registros de intervenção inspecionáveis em vez de apenas recompensa. SolarChain-Eval fornece uma forma concreta de benchmark para essa parte da pilha de agentes. Fique atento para evidências sobre quão amplamente a abordagem de Planejador/Auditor se generaliza além deste cenário de mercado de energia.

[27:47] Fila prática

Codex 0.144 torna sessões MCP autenticadas e fluxos de login hospedados uma superfície de implantação normal em vez de infraestrutura experimental.

GPT-5.6 agora oferece uma verdadeira escada de roteamento: Sol para o trabalho mais difícil, Terra para trabalho equilibrado do dia a dia, e Luna para volume rápido e de menor custo.

Grok 4.5 coloca afirmações de benchmark publicadas, throughput e preço de tokens em uma comparação, enquanto GPT-Live move a voz em direção à interação contínua full-duplex e Robostral testa até onde a navegação pode ir com uma câmera RGB.

ChatGPT Work e Flint impulsionam agentes em direção a artefatos finalizados e editáveis: saídas de projetos de um lado e especificações de gráficos compactas e legíveis por humanos do outro.

As histórias de avaliação carregam o aviso mais forte do dia. Juízes de citação precisam de análise de viés e taxa de erro, SWE-Bench Pro pode ter aproximadamente trinta por cento de tarefas quebradas, e UniClawBench visa separar falhas por capacidade em vez de escondê-las em uma única pontuação.

WebSwarm, ProjAgent, Latent Memory Palace e SolarChain-Eval cada um movem a estrutura mais perto do problema: coleta de evidências recursivas, recuperação de código com consciência de procedimento, raciocínio de controle latente e avaliação de agentes restrita à física.

🎙 Never miss an episode — subscribe now

🎙 Subscribe to AgentStack Daily