Französisches Labor veröffentlicht Benchmark für Robotik-Agenten mit langen Aufgaben
MAGMA-Bench bewertet Agenten in simulierten Multi-Roboter-Aufgaben mit Zieländerungen und Ausführungsfehlern.
Ereignis-/Datenzeitraum: 2026-10-09
Veröffentlicht: · Aktualisiert:
Forschende von LAAS-CNRS und des französischen Unternehmens Siléane stellten MAGMA-Bench in einem Preprint vom 9. Oktober vor. Der Benchmark bewertet anhaltendes Schlussfolgern in langwierigen Robotermissionen. Er umfasst zwölf Szenariofamilien mit einem bis drei Robotern sowie Missionsänderungen, Unterbrechungen, unvollständige Beobachtungen und simulierte Ausführungsfehler.
Die Auswertung umfasst 1.254 Episoden. Laut den Autoren scheitern selbst die stärksten getesteten Modelle bei einem erheblichen Teil der störungsfreien Aufgaben; unter zusätzlichen Störungen sinken die Erfolgsraten weiter. Für den Vergleich führender Modelle dient eine gemeinsame Teilmenge von 215 Episoden. Da der Benchmark hochrangige Entscheidungen von Wahrnehmung und niedrigstufiger Steuerung trennt und auf Simulation beruht, belegt er keine Leistung eingesetzter Roboter.
Daten
Umfang der Studie
Simulierte Episoden aus zwölf Szenariofamilien; kein Einsatz realer Roboter
| MAGMA-Bench-Bewertungsepisoden | 1254 | 2026-10-09 |
Methodik
Die Zahl bezeichnet den im Artikel genannten Versuchsrahmen; keine nationale Statistik oder Feldmessung.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Frankreich · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗