Le benchmark AgentSWE évalue ce que les agents de programmation livrent réellement

Des chercheurs affiliés à l’Académie de Pékin pour l’intelligence artificielle et à des institutions partenaires ont publié AgentSWE, un benchmark destiné à mesurer si un agent de programmation crée un autre agent conforme à une exigence en langage naturel. Le préprint arXiv daté du 9 octobre couvre 25 tâches réparties en trois étapes : créer un agent, modifier des bases de code d’agents en production et optimiser un résultat mesurable. Le constructeur travaille sur quelques exemples indicatifs; la version livrée est ensuite évaluée sur des cas retenus à part, selon des critères tirés des exigences.

Les auteurs indiquent qu’aucune des combinaisons de modèles et de cadres évaluées n’a approché le résultat demandé par les exigences. Leur analyse relève notamment le surapprentissage aux exemples visibles, des environnements d’exécution qui ne font pas le travail promis et des déclarations d’achèvement sans preuve. Le benchmark vérifie donc le fonctionnement de l’agent construit plutôt que l’apparence d’achèvement de son code. Ces constats sont propres aux 25 tâches de recherche et aux protocoles du préprint; ils ne donnent pas un taux d’échec universel pour les agents de programmation ou les déploiements en production.