SWE-Critix treina agentes críticos para reparo de código

Pesquisadores ligados à Huawei e à Universidade Monash da Malásia apresentaram o SWE-Critix, método para treinar verificadores que avaliam se a trajetória de execução de um agente de programação concluiu sua tarefa. Um modelo professor compara trajetórias bem-sucedidas e fracassadas do mesmo problema para produzir explicações de treinamento, seguidas de ajuste supervisionado e aprendizado por reforço com recompensas baseadas nos resultados dos testes.

O sistema final atingiu 78% de acurácia geral na avaliação CodeForge Preview descrita no artigo. Os autores mediram isso em um conjunto de teste derivado da mesma fonte de dados; afirmam que a recompensa dos testes ajudou a distinguir reparos bem-sucedidos, embora a recuperação tenha permanecido baixa para algumas classes de erro. Esse resultado preliminar de benchmark não comprova sucesso em repositórios reais.