MLCommons desarrollará una prueba de agentes con apoyo de NSF
MLCommons fue seleccionada para desarrollar el benchmark MLPerf Agents dentro del AI Efficiency Challenge, respaldado por la Fundación Nacional de Ciencias de EE. UU. y dotado con 3,5 millones de dólares durante dos años. El benchmark previsto medirá flujos completos, no solo la entrega de tokens del modelo: incluye el arnés del agente, selección del modelo, recuperación, herramientas, orquestación, estado, recuperación de fallos y validación.
Período del evento / de los datos:
Publicado: · Actualizado:
Medirá coste, energía, latencia y rendimiento en tareas cuyo éxito se verifique. Los primeros trabajos previstos abarcan ingeniería de software, investigación y análisis de datos, y atención al cliente. MLCommons planea reglas comunes y conjuntos de validación ocultos; el benchmark aún no ha producido resultados. El anuncio describe un proyecto de desarrollo de dos años.
Datos
MLCommons desarrollará una prueba de agentes con apoyo de NSF
MLCommons fue seleccionada para desarrollar el benchmark MLPerf Agents dentro del AI Efficiency Challenge, respaldado por la Fundación Nacional de Ciencias de EE. UU. y dotado con 3,5 millones de dólares durante dos años. El benchmark previsto medirá flujos completos, no solo la entrega de tokens del modelo: incluye el arnés del agente, selección del modelo, recuperación, herramientas, orquestación, estado, recuperación de fallos y validación. Medirá coste, energía, latencia y rendimiento en tareas cuyo éxito se verifique. Los primeros trabajos previstos abarcan ingeniería de software, investigación y análisis de datos, y atención al cliente. MLCommons planea reglas comunes y conjuntos de validación ocultos; el benchmark aún no ha producido resultados. El anuncio describe un proyecto de desarrollo de dos años.
- · Ocurrido
MLCommons fue seleccionada para desarrollar el benchmark MLPerf Agents dentro del AI Efficiency Challenge, respaldado por la Fundación Nacional de Ciencias de EE. UU. y dotado con 3,5 millones de dólares durante dos años. El benchmark previsto medirá flujos completos, no solo la entrega de tokens del modelo: incluye el arnés del agente, selección del modelo, recuperación, herramientas, orquestación, estado, recuperación de fallos y validación.
MLCommons fue seleccionada para desarrollar el benchmark MLPerf Agents dentro del AI Efficiency Challenge, respaldado por la Fundación Nacional de Ciencias de EE. UU. y dotado con 3,5 millones de dólares durante dos años. El benchmark previsto medirá flujos completos, no solo la entrega de tokens del modelo: incluye el arnés del agente, selección del modelo, recuperación, herramientas, orquestación, estado, recuperación de fallos y validación. Medirá coste, energía, latencia y rendimiento en tareas cuyo éxito se verifique. Los primeros trabajos previstos abarcan ingeniería de software, investigación y análisis de datos, y atención al cliente. MLCommons planea reglas comunes y conjuntos de validación ocultos; el benchmark aún no ha producido resultados. El anuncio describe un proyecto de desarrollo de dos años.
Metodología
Este registro resume la descripción y las mediciones de la fuente primaria citada; no se realizó una prueba ni una verificación independiente de la encuesta.
Actualizado:
Temas y lugares
Propuestas temáticas
- Inteligencia artificialSugerido
- Subject suggested from the title or summary: AImlcommons.org ↗