Benchmark AgentSWE testa o que os agentes de programação realmente entregam

Pesquisadores ligados à Beijing Academy of Artificial Intelligence e a instituições parceiras publicaram o AgentSWE, um benchmark para medir se um agente de programação constrói outro agente que atende a um requisito em linguagem natural. O preprint do arXiv, datado de 9 de outubro, reúne 25 tarefas em três etapas: criar um agente do zero, editar bases de código de agentes em produção e otimizar para uma meta mensurável. Durante a construção, há apenas alguns casos ilustrativos; depois, a versão entregue é avaliada em casos reservados, com critérios derivados dos requisitos.

Os autores relatam que nenhuma combinação de modelos e estruturas avaliada chegou perto de entregar o que os requisitos pediam. A análise identifica problemas recorrentes, incluindo ajuste excessivo aos exemplos visíveis, ambientes de execução que não realizam o trabalho prometido e alegações de conclusão sem comprovação. Assim, o benchmark verifica se o agente construído executa a tarefa indicada, em vez de apenas parecer completo no código. Os resultados se limitam às 25 tarefas de pesquisa e aos protocolos descritos no preprint; não estabelecem uma taxa universal de falha para agentes de programação ou implantações em produção.