ProgramGym cria 1.648 ambientes verificáveis para treinar agentes de programação
O preprint do arXiv de 9 de outubro descreve ambientes para reproduzir programas do zero e um fluxo de trabalho de agentes em etapas.
Período do evento/dos dados: 2026-10-09
Publicado: · Atualizado:

Pesquisadores da Universidade de Xiamen e de outras instituições apresentaram o ProgramGym, uma estrutura para treinar agentes de programação a examinar o comportamento de um programa e reproduzi-lo do zero. No preprint enviado ao arXiv em 9 de outubro, o Program-Env cria ambientes de treinamento com programas de referência executáveis, espaços isolados, documentação de uso e testes de caixa-preta. Os autores relatam ter montado 1.648 ambientes em C, C++, Go e Rust. O Program-Agent separa análise, implementação e revisão em funções distintas, com verificações de compilação e pontos de recuperação entre as iterações.
No ProgramBench, os autores informam que o ajuste fino do Qwen3.8-27B com trajetórias desses ambientes elevou o resultado de aprovação nos testes de 34,87% para 42,84%. Com o Program-Agent, o modelo-base obteve 55,71% e a versão ajustada 56,25%. O artigo define a métrica como a média macro das taxas por tarefa, portanto os números não significam que todas as tarefas foram resolvidas. Os resultados dizem respeito às tarefas de reprodução de programas e à configuração de ferramentas descritas pelos autores, e não medem capacidade geral de programação.
Dados
Número de ambientes de treinamento do ProgramGym
Ambientes de reprodução de programas informados no artigo.
| Ambientes de treinamento do Program-Env | 1648 |
Metodologia
Os autores contam ambientes criados para C, C++, Go e Rust.
Atualizado:
m
Taxas de aprovação em testes informadas para as combinações de modelo e estrutura de agente dos autores.
| Qwen3.8-27B + Claude Code, antes do ajuste fino com trajetórias do Program-Env | 34.87 |
| Qwen3.8-27B-SFT + Claude Code, após ajuste fino com trajetórias do Program-Env | 42.84 |
| Qwen3.8-27B + Program-Agent, mesmo modelo-base | 55.71 |
| Qwen3.8-27B-SFT + Program-Agent, mesmo modelo ajustado | 56.25 |
Metodologia
O ProgramBench define essa métrica como a média macro das taxas de aprovação por tarefa. A comparação do Program-Env mantém o Claude Code fixo; a comparação do Program-Agent combina o mesmo modelo com Claude Code ou Program-Agent. Isso não significa que as tarefas tenham sido totalmente resolvidas.
Atualizado:
Temas e lugares
Sugestões de temas
- Ciência e tecnologiaAnotação sugerida
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Referências geográficas
São exibidas apenas referências geográficas fornecidas pela fonte. Abrir um mapa externo é opcional. Os mapas opcionais das notícias usam o OpenStreetMap. Ao abrir um mapa, seu endereço IP e o endereço deste site são enviados ao provedor do mapa. Os dados de localização continuam disponíveis em texto sem carregar o mapa.
- China · Função do lugar: Cobertura · Tipo de lugar: país ou área · Precisão da localização: regionalEvidência
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗