ProgramGym erstellt 1.648 überprüfbare Trainingsumgebungen für Programmieragenten

Forschende der Universität Xiamen und weiterer Einrichtungen haben ProgramGym vorgestellt. Das Framework soll Programmieragenten darin trainieren, das Verhalten eines Programms zu untersuchen und es von Grund auf nachzubilden. Im am 9. Oktober bei arXiv eingereichten Preprint erzeugt Program-Env Trainingsumgebungen mit ausführbaren Referenzprogrammen, isolierten Sandboxes, Nutzungsdokumentation und Black-Box-Tests. Die Autoren berichten von 1.648 Umgebungen für C, C++, Go und Rust. Program-Agent trennt Analyse, Implementierung und Prüfung in eigene Rollen und ergänzt sie um Kompilierprüfungen und Wiederherstellungspunkte.

Für ProgramBench berichten die Autoren, dass ein Fine-Tuning von Qwen3.8-27B mit den erzeugten Trainingsverläufen den Test-Pass-Wert von 34,87 % auf 42,84 % erhöhte. Mit Program-Agent erreichte das Basismodell 55,71 %, die feinabgestimmte Version 56,25 %. Der Artikel definiert den Wert als Makromittel der Passraten einzelner Aufgaben; die Zahlen bedeuten also nicht, dass alle Aufgaben gelöst wurden. Die Ergebnisse beziehen sich auf die beschriebenen Programmreproduktionsaufgaben und die angegebene Werkzeugkonfiguration, nicht auf allgemeine Programmierfähigkeit.