Un laboratorio francés publica un benchmark para agentes robóticos de tareas largas
MAGMA-Bench evalúa agentes en tareas multi-robot simuladas con cambios de objetivos y fallos de ejecución.
Período del evento / de los datos: 2026-10-09
Publicado: · Actualizado:
Investigadores de LAAS-CNRS y de la empresa francesa Siléane presentaron MAGMA-Bench en un preprint del 9 de octubre. El benchmark evalúa el razonamiento persistente en misiones robóticas largas. Incluye 12 familias de escenarios con entre uno y tres robots, cambios de misión, interrupciones, observaciones parciales y fallos de ejecución simulados.
La evaluación reúne 1.254 episodios. Según los autores, incluso los modelos más sólidos probados fallan en una parte considerable de los episodios sin perturbaciones, y las tasas bajan más cuando estas aparecen. Se usó un subconjunto común de 215 episodios para comparar modelos punteros. Como separa las decisiones de alto nivel de la percepción y el control de bajo nivel y se basa en simulación, no demuestra el rendimiento de robots desplegados.
Datos
Alcance del estudio
Episodios simulados en 12 familias de escenarios; no son despliegues robóticos reales
| Episodios de evaluación de MAGMA-Bench | 1254 | 2026-10-09 |
Metodología
Cifra del alcance experimental indicado en el artículo; no es una estadística nacional ni un resultado de campo.
Actualizado:
Temas y lugares
Propuestas temáticas
- Ciencia y tecnologíaSugerido
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Referencias geográficas
Solo se muestran referencias geográficas proporcionadas por la fuente. Abrir un mapa externo es opcional. Los mapas opcionales usan OpenStreetMap. Al abrirlos se envían tu dirección IP y la de este sitio al proveedor; los datos de ubicación pueden leerse sin cargar el mapa.
- Francia · Función del lugar: Cobertura · Tipo de lugar: País o área · Precisión de ubicación: RegionalEvidencia
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗