El benchmark AgentSWE evalúa lo que realmente entregan los agentes de programación

Investigadores afiliados a la Academia de Inteligencia Artificial de Pekín y otras instituciones publicaron AgentSWE, un benchmark para medir si un agente de programación construye otro agente que cumple un requisito expresado en lenguaje natural. El preprint de arXiv fechado el 9 de octubre cubre 25 tareas en tres etapas: crear un agente desde cero, editar bases de código de agentes en producción y optimizar hacia un objetivo medible. El constructor trabaja con un conjunto limitado de ejemplos ilustrativos; después, la versión entregada se evalúa con casos reservados y criterios derivados de los requisitos.

Los autores informan que ninguna de las combinaciones de modelos y entornos evaluadas se acercó a entregar lo solicitado. Su análisis detecta problemas recurrentes, como el ajuste excesivo a los ejemplos visibles, entornos de ejecución que no hacen el trabajo prometido y afirmaciones de finalización sin respaldo. Así, el benchmark comprueba si el agente construido realiza la tarea indicada, no solo si su código parece completo. Los hallazgos se limitan a las 25 tareas de investigación y a los protocolos del preprint; no establecen una tasa universal de fallos para agentes de programación o despliegues reales.