MLCommons entwickelt mit NSF-Förderung einen Agenten-Benchmark
MLCommons wurde ausgewählt, den Benchmark MLPerf Agents im Rahmen der von der US National Science Foundation unterstützten AI Efficiency Challenge zu entwickeln. Die Förderung beträgt 3,5 Millionen US-Dollar über zwei Jahre. Der geplante Benchmark soll vollständige Arbeitsabläufe messen, nicht nur die Token-Ausgabe des Modells: Agent-Harness, Modellauswahl, Abruf, Tool-Ausführung, Orchestrierung, Zustandsverwaltung, Fehlerbehandlung und Validierung.
Ereignis-/Datenzeitraum:
Veröffentlicht: · Aktualisiert:
Er soll Kosten, Energie, Latenz und Durchsatz für erfolgreich verifizierte Aufgaben erfassen. Als erste Arbeitslasten sind Softwareentwicklung, Forschung und Datenanalyse sowie Kundenservice vorgesehen. MLCommons plant gemeinsame Regeln und verborgene Validierungsdatensätze; Ergebnisse liegen noch nicht vor. Die Meldung betrifft ein zweijähriges Entwicklungsprojekt.
Daten
MLCommons entwickelt mit NSF-Förderung einen Agenten-Benchmark
MLCommons wurde ausgewählt, den Benchmark MLPerf Agents im Rahmen der von der US National Science Foundation unterstützten AI Efficiency Challenge zu entwickeln. Die Förderung beträgt 3,5 Millionen US-Dollar über zwei Jahre. Der geplante Benchmark soll vollständige Arbeitsabläufe messen, nicht nur die Token-Ausgabe des Modells: Agent-Harness, Modellauswahl, Abruf, Tool-Ausführung, Orchestrierung, Zustandsverwaltung, Fehlerbehandlung und Validierung. Er soll Kosten, Energie, Latenz und Durchsatz für erfolgreich verifizierte Aufgaben erfassen. Als erste Arbeitslasten sind Softwareentwicklung, Forschung und Datenanalyse sowie Kundenservice vorgesehen. MLCommons plant gemeinsame Regeln und verborgene Validierungsdatensätze; Ergebnisse liegen noch nicht vor. Die Meldung betrifft ein zweijähriges Entwicklungsprojekt.
- · eingetreten
MLCommons wurde ausgewählt, den Benchmark MLPerf Agents im Rahmen der von der US National Science Foundation unterstützten AI Efficiency Challenge zu entwickeln. Die Förderung beträgt 3,5 Millionen US-Dollar über zwei Jahre. Der geplante Benchmark soll vollständige Arbeitsabläufe messen, nicht nur die Token-Ausgabe des Modells: Agent-Harness, Modellauswahl, Abruf, Tool-Ausführung, Orchestrierung, Zustandsverwaltung, Fehlerbehandlung und Validierung.
MLCommons wurde ausgewählt, den Benchmark MLPerf Agents im Rahmen der von der US National Science Foundation unterstützten AI Efficiency Challenge zu entwickeln. Die Förderung beträgt 3,5 Millionen US-Dollar über zwei Jahre. Der geplante Benchmark soll vollständige Arbeitsabläufe messen, nicht nur die Token-Ausgabe des Modells: Agent-Harness, Modellauswahl, Abruf, Tool-Ausführung, Orchestrierung, Zustandsverwaltung, Fehlerbehandlung und Validierung. Er soll Kosten, Energie, Latenz und Durchsatz für erfolgreich verifizierte Aufgaben erfassen. Als erste Arbeitslasten sind Softwareentwicklung, Forschung und Datenanalyse sowie Kundenservice vorgesehen. MLCommons plant gemeinsame Regeln und verborgene Validierungsdatensätze; Ergebnisse liegen noch nicht vor. Die Meldung betrifft ein zweijähriges Entwicklungsprojekt.
Methodik
Dieser Eintrag fasst die Beschreibung und Messwerte der genannten Primärquelle zusammen; es erfolgte keine unabhängige Prüfung oder Umfrageverifikation.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Künstliche IntelligenzVorgeschlagene Kennzeichnung
- Subject suggested from the title or summary: AImlcommons.org ↗