Laboratório francês publica benchmark para agentes robóticos em tarefas longas

Pesquisadores da unidade francesa LAAS-CNRS e da empresa francesa Siléane apresentaram o MAGMA-Bench em um preprint de 9 de outubro. O benchmark avalia o raciocínio persistente em missões robóticas longas. Ele inclui 12 famílias de cenários com um a três robôs, mudanças de missão, interrupções, observações parciais e falhas de execução simuladas.

A avaliação reúne 1.254 episódios. Segundo os autores, até os modelos mais fortes testados falham em uma parcela relevante dos episódios sem perturbações, e as taxas caem mais quando elas ocorrem. Um subconjunto comum de 215 episódios foi usado para comparar modelos de ponta. Como o benchmark separa decisões de alto nível da percepção e do controle de baixo nível e usa simulação, ele não comprova o desempenho de robôs implantados.