ProgramGym crée 1 648 environnements vérifiables pour entraîner des agents de programmation

Des chercheurs de l’Université de Xiamen et d’autres institutions ont présenté ProgramGym, un cadre destiné à entraîner des agents de programmation à examiner le comportement d’un programme puis à le reproduire depuis zéro. Dans le préprint soumis à arXiv le 9 octobre, Program-Env crée des environnements comprenant des programmes de référence exécutables, des bacs à sable isolés, de la documentation et des tests en boîte noire. Les auteurs indiquent avoir constitué 1 648 environnements en C, C++, Go et Rust. Program-Agent répartit ensuite l’analyse, l’implémentation et la revue entre des rôles distincts, avec des contrôles de compilation et des points de reprise.

Sur ProgramBench, les auteurs rapportent que le réglage fin de Qwen3.8-27B sur les trajectoires générées a fait passer son résultat de réussite aux tests de 34,87 % à 42,84 %. Avec Program-Agent, le modèle de base a obtenu 55,71 % et sa version réglée 56,25 %. L’article définit la réussite comme une moyenne macro des taux par tâche; ces chiffres ne signifient donc pas que toutes les tâches ont été résolues. Les résultats portent sur les tâches de reproduction de programmes et la configuration décrites par les auteurs, et ne mesurent pas une capacité générale de programmation.