MLCommons prépare un benchmark d’agents financé par la NSF
MLCommons a été sélectionné pour développer le benchmark MLPerf Agents dans le cadre du défi AI Efficiency Challenge, soutenu par la National Science Foundation américaine et doté de 3,5 millions de dollars sur deux ans. Le benchmark prévu mesurera le flux complet, pas seulement le service de jetons du modèle: harness d’agent, choix du modèle, recherche, outils, orchestration, état, récupération après erreur et validation.
Période de l’événement / des données:
Publié: · Mis à jour:
Il doit mesurer coût, énergie, latence et débit pour les tâches dont la réussite est vérifiée. Les premiers travaux prévus concernent le génie logiciel, la recherche et l’analyse de données, ainsi que le service client. MLCommons prévoit des règles communes et des jeux de validation cachés; le benchmark n’a pas encore produit de résultats. L’annonce porte sur un projet de développement de deux ans.
Données
MLCommons prépare un benchmark d’agents financé par la NSF
MLCommons a été sélectionné pour développer le benchmark MLPerf Agents dans le cadre du défi AI Efficiency Challenge, soutenu par la National Science Foundation américaine et doté de 3,5 millions de dollars sur deux ans. Le benchmark prévu mesurera le flux complet, pas seulement le service de jetons du modèle: harness d’agent, choix du modèle, recherche, outils, orchestration, état, récupération après erreur et validation. Il doit mesurer coût, énergie, latence et débit pour les tâches dont la réussite est vérifiée. Les premiers travaux prévus concernent le génie logiciel, la recherche et l’analyse de données, ainsi que le service client. MLCommons prévoit des règles communes et des jeux de validation cachés; le benchmark n’a pas encore produit de résultats. L’annonce porte sur un projet de développement de deux ans.
- · Survenu
MLCommons a été sélectionné pour développer le benchmark MLPerf Agents dans le cadre du défi AI Efficiency Challenge, soutenu par la National Science Foundation américaine et doté de 3,5 millions de dollars sur deux ans. Le benchmark prévu mesurera le flux complet, pas seulement le service de jetons du modèle: harness d’agent, choix du modèle, recherche, outils, orchestration, état, récupération après erreur et validation.
MLCommons a été sélectionné pour développer le benchmark MLPerf Agents dans le cadre du défi AI Efficiency Challenge, soutenu par la National Science Foundation américaine et doté de 3,5 millions de dollars sur deux ans. Le benchmark prévu mesurera le flux complet, pas seulement le service de jetons du modèle: harness d’agent, choix du modèle, recherche, outils, orchestration, état, récupération après erreur et validation. Il doit mesurer coût, énergie, latence et débit pour les tâches dont la réussite est vérifiée. Les premiers travaux prévus concernent le génie logiciel, la recherche et l’analyse de données, ainsi que le service client. MLCommons prévoit des règles communes et des jeux de validation cachés; le benchmark n’a pas encore produit de résultats. L’annonce porte sur un projet de développement de deux ans.
Méthodologie
Cette fiche reprend la description et les mesures publiées par la source primaire citée; aucun test ni sondage indépendant n’a été effectué.
Mis à jour:
Sujets et lieux
Sujets proposés
- Intelligence artificielleProposé
- Subject suggested from the title or summary: AImlcommons.org ↗