SWE-Critix entrena agentes críticos para reparar código

Investigadores vinculados a Huawei y a la Universidad Monash de Malasia presentaron SWE-Critix, un método para entrenar verificadores que evalúan si la trayectoria de ejecución de un agente de programación completó su tarea. Un modelo maestro compara trayectorias exitosas y fallidas del mismo problema para generar explicaciones de entrenamiento, seguidas de ajuste supervisado y aprendizaje por refuerzo con recompensas basadas en resultados de pruebas.

El sistema final alcanzó una precisión general del 78 % en la evaluación CodeForge Preview del artículo. Los autores la midieron con un conjunto de prueba procedente de la misma fuente de datos; señalan que la recompensa de pruebas ayudó a distinguir reparaciones exitosas, aunque la recuperación fue baja para algunas clases de errores. Este resultado preliminar de benchmark no demuestra éxito en repositorios reales.