SWE-Critix entraîne des agents critiques pour la réparation de code

Des chercheurs associés à Huawei et à l’université Monash en Malaisie ont présenté SWE-Critix, une méthode d’entraînement de vérificateurs qui jugent si la trajectoire d’exécution d’un agent de programmation a accompli sa tâche. Un modèle enseignant compare des trajectoires réussies et échouées pour un même problème afin de produire des explications d’entraînement, avant un ajustement supervisé et un apprentissage par renforcement fondé sur les résultats des tests.

Le système final a atteint une précision globale de 78 % dans l’évaluation CodeForge Preview de l’article. Les auteurs l’ont mesurée sur un jeu de test issu de la même source de données; ils indiquent que la récompense des tests a aidé à distinguer les réparations réussies, tandis que le rappel restait faible pour certaines catégories d’erreurs. Ce résultat préliminaire de benchmark ne démontre pas la réussite sur des dépôts réels.