# Benchmark AgentSWE testa o que os agentes de programação realmente entregam

> O preprint do arXiv define 25 tarefas de criação de agentes, edição de código existente e otimização para um objetivo.

- URL canônica: https://newsverum.com/pt/news/agentswe-coding-agent-benchmark-requirement-fidelity-2026
- Editora: Newsverum
- Seção: Tecnologia
- País: China
- Publicado: 2026-10-13T10:04:09+00:00
- Atualizado: 2026-10-13T10:04:09+00:00
- Período do evento ou dos dados: 2026-10-09
- Outras edições: [Türkçe](https://newsverum.com/tr/news/agentswe-coding-agent-benchmark-requirement-fidelity-2026.md), [English](https://newsverum.com/en/news/agentswe-coding-agent-benchmark-requirement-fidelity-2026.md), [العربية](https://newsverum.com/ar/news/agentswe-coding-agent-benchmark-requirement-fidelity-2026.md), [Français](https://newsverum.com/fr/news/agentswe-coding-agent-benchmark-requirement-fidelity-2026.md), [Español](https://newsverum.com/es/news/agentswe-coding-agent-benchmark-requirement-fidelity-2026.md), [Deutsch](https://newsverum.com/de/news/agentswe-coding-agent-benchmark-requirement-fidelity-2026.md)

Pesquisadores ligados à Beijing Academy of Artificial Intelligence e a instituições parceiras publicaram o AgentSWE, um benchmark para medir se um agente de programação constrói outro agente que atende a um requisito em linguagem natural. O preprint do arXiv, datado de 9 de outubro, reúne 25 tarefas em três etapas: criar um agente do zero, editar bases de código de agentes em produção e otimizar para uma meta mensurável. Durante a construção, há apenas alguns casos ilustrativos; depois, a versão entregue é avaliada em casos reservados, com critérios derivados dos requisitos.

Os autores relatam que nenhuma combinação de modelos e estruturas avaliada chegou perto de entregar o que os requisitos pediam. A análise identifica problemas recorrentes, incluindo ajuste excessivo aos exemplos visíveis, ambientes de execução que não realizam o trabalho prometido e alegações de conclusão sem comprovação. Assim, o benchmark verifica se o agente construído executa a tarefa indicada, em vez de apenas parecer completo no código. Os resultados se limitam às 25 tarefas de pesquisa e aos protocolos descritos no preprint; não estabelecem uma taxa universal de falha para agentes de programação ou implantações em produção.

## Dados

### Contagem de tarefas e etapas do AgentSWE no preprint

Número de tarefas e etapas do ciclo de vida que definem o escopo do benchmark.

Metodologia: O artigo distribui 25 tarefas entre criação, edição e otimização; os números se aplicam apenas a este benchmark de pesquisa.

| Medição | Valor |
|---|---|
| Tarefas do AgentSWE | 25 |
| Etapas de criação, edição e otimização | 3 |

Fontes: <https://arxiv.org/abs/2610.13361> · Baixar dados: [JSON](https://newsverum.com/api/v1/articles/agentswe-coding-agent-benchmark-requirement-fidelity-2026/data/benchmark-scope-counts?lang=pt&format=json) · [CSV](https://newsverum.com/api/v1/articles/agentswe-coding-agent-benchmark-requirement-fidelity-2026/data/benchmark-scope-counts?lang=pt&format=csv)

## Fontes

- [arXiv preprint by researchers affiliated with Beijing Academy of Artificial Intelligence, Institute of Automation of the Chinese Academy of Sciences and Renmin University of China](<https://arxiv.org/abs/2610.13361>) (Fonte verificada: 2026-10-13; Publicado: 2026-10-09)

---

Use a URL canônica acima para citar este artigo. [Princípios editoriais e correções](https://newsverum.com/pt/editorial)