MLCommons vai criar benchmark de agentes com apoio da NSF
A MLCommons foi escolhida para desenvolver o benchmark MLPerf Agents no âmbito do AI Efficiency Challenge, apoiado pela National Science Foundation dos EUA e financiado com 3,5 milhões de dólares durante dois anos. O benchmark previsto medirá fluxos completos, não apenas a entrega de tokens do modelo: inclui o harness do agente, escolha do modelo, recuperação, ferramentas, orquestração, estado, recuperação de falhas e validação.
Período do evento/dos dados:
Publicado: · Atualizado:
A medição deverá abranger custo, energia, latência e débito em tarefas cujo sucesso seja verificado. Os primeiros trabalhos previstos incluem engenharia de software, investigação e análise de dados, e atendimento ao cliente. A MLCommons planeia regras comuns e conjuntos de validação ocultos; o benchmark ainda não produziu resultados. O anúncio descreve um projeto de desenvolvimento de dois anos.
Dados
MLCommons vai criar benchmark de agentes com apoio da NSF
A MLCommons foi escolhida para desenvolver o benchmark MLPerf Agents no âmbito do AI Efficiency Challenge, apoiado pela National Science Foundation dos EUA e financiado com 3,5 milhões de dólares durante dois anos. O benchmark previsto medirá fluxos completos, não apenas a entrega de tokens do modelo: inclui o harness do agente, escolha do modelo, recuperação, ferramentas, orquestração, estado, recuperação de falhas e validação. A medição deverá abranger custo, energia, latência e débito em tarefas cujo sucesso seja verificado. Os primeiros trabalhos previstos incluem engenharia de software, investigação e análise de dados, e atendimento ao cliente. A MLCommons planeia regras comuns e conjuntos de validação ocultos; o benchmark ainda não produziu resultados. O anúncio descreve um projeto de desenvolvimento de dois anos.
- · ocorrido
A MLCommons foi escolhida para desenvolver o benchmark MLPerf Agents no âmbito do AI Efficiency Challenge, apoiado pela National Science Foundation dos EUA e financiado com 3,5 milhões de dólares durante dois anos. O benchmark previsto medirá fluxos completos, não apenas a entrega de tokens do modelo: inclui o harness do agente, escolha do modelo, recuperação, ferramentas, orquestração, estado, recuperação de falhas e validação.
A MLCommons foi escolhida para desenvolver o benchmark MLPerf Agents no âmbito do AI Efficiency Challenge, apoiado pela National Science Foundation dos EUA e financiado com 3,5 milhões de dólares durante dois anos. O benchmark previsto medirá fluxos completos, não apenas a entrega de tokens do modelo: inclui o harness do agente, escolha do modelo, recuperação, ferramentas, orquestração, estado, recuperação de falhas e validação. A medição deverá abranger custo, energia, latência e débito em tarefas cujo sucesso seja verificado. Os primeiros trabalhos previstos incluem engenharia de software, investigação e análise de dados, e atendimento ao cliente. A MLCommons planeia regras comuns e conjuntos de validação ocultos; o benchmark ainda não produziu resultados. O anúncio descreve um projeto de desenvolvimento de dois anos.
Metodologia
Este registro resume a descrição e as medições da fonte primária citada; não foi realizado teste independente nem verificação do inquérito.
Atualizado:
Temas e lugares
Sugestões de temas
- Inteligência artificialAnotação sugerida
- Subject suggested from the title or summary: AImlcommons.org ↗