ProgramGym crea 1.648 entornos verificables para entrenar agentes de programación

Investigadores de la Universidad de Xiamen y otras instituciones presentaron ProgramGym, un marco para entrenar agentes de programación que inspeccionen el comportamiento de un programa y lo reproduzcan desde cero. En el preprint enviado a arXiv el 9 de octubre, Program-Env crea entornos de entrenamiento con programas de referencia ejecutables, espacios aislados, documentación de uso y pruebas de caja negra. Los autores dicen haber creado 1.648 entornos en C, C++, Go y Rust. Program-Agent separa después el análisis, la implementación y la revisión en funciones distintas, con comprobaciones de compilación y puntos de recuperación entre iteraciones.

En ProgramBench, los autores informan que ajustar Qwen3.8-27B con trayectorias de esos entornos elevó su resultado de pruebas superadas del 34,87 % al 42,84 %. Con Program-Agent, el modelo base obtuvo 55,71 % y la versión ajustada 56,25 %. El artículo define la métrica como el promedio macro de las tasas de éxito por tarea, por lo que las cifras no significan que se resolvieran todas las tareas. Los resultados corresponden a las tareas de reproducción de programas y la configuración descritas por los autores, y no miden una capacidad general de programación.