Ablações mostram como avaliar harnesses de agentes de programação
Um paper publicado em 26 de setembro de 2026 relata 176 configurações testadas em dois benchmarks e aponta efeitos distintos de resumo de contexto e planejamento explícito.
Fonte: Ablations de harnesses para agentes de programação (arxiv.org). Texto preparado com IA a partir dessa fonte.
O que aconteceu e o que fazer
O paper relata 176 configurações de ablação avaliadas no SWE-Bench e no Terminal-Bench. Segundo o texto, o corte de contexto baseado em regras, combinado com um resumo curto, superou mecanismos mais elaborados de recuperação. O planejamento explícito ajudou modelos mais fracos, mas não elevou a taxa de sucesso dos modelos mencionados no trecho. A publicação é de 26 de setembro de 2026.
Para uma empresa que desenvolve agentes de programação, a aplicação prática é medir cada componente do harness com tarefas representativas do próprio ambiente. Uma equipe pode registrar resultados, latência e custo por configuração, comparar estratégias de contexto e planejamento e acompanhar regressões em um painel, antes de adotar componentes mais complexos.
Como a consultoria pode ajudar
A Wendelmaques pode diagnosticar os fluxos de agentes e os critérios de avaliação, definir um escopo de testes e implementar pipelines de coleta, comparação e monitoramento dos resultados.
Próximo passo
Envie uma breve descrição do seu caso para receber uma proposta com escopo de diagnóstico e implementação.
Vamos avaliar seu projeto
Respondo com escopo e proposta.