Un laboratoire français publie un benchmark pour les agents robotiques de longue durée

Des chercheurs de LAAS-CNRS et de l’entreprise française Siléane ont présenté MAGMA-Bench dans un préprint daté du 9 octobre. Ce benchmark évalue le raisonnement persistant dans des missions robotiques de longue durée. Il comprend 12 familles de scénarios avec un à trois robots, des changements de mission, des interruptions, des observations partielles et des échecs d’exécution simulés.

L’évaluation compte 1 254 épisodes. Selon les auteurs, même les modèles les plus performants testés échouent sur une part importante des épisodes sans perturbation, et les taux baissent davantage lorsque des perturbations surviennent. Un sous-ensemble commun de 215 épisodes sert à comparer des modèles de pointe. Le benchmark sépare les décisions de haut niveau de la perception et du contrôle bas niveau et repose sur la simulation; il ne démontre donc pas les performances de robots déployés.