Investigadores de Texas Tech prueban la recuperación fiable de herramientas para agentes
RATED combina la correspondencia semántica con información sobre el funcionamiento de las herramientas durante la ejecución.
Período del evento / de los datos: 2026-10-09
Publicado: · Actualizado:
Investigadores de Texas Tech University presentaron RATED, un método que clasifica herramientas de agentes según su relevancia para una consulta y los comentarios de ejecución. Combina un codificador semántico con un bandido contextual que reordena las herramientas tras señales de éxito o fallo.
En el benchmark EcoAgent, los autores informan de una mejora relativa del 52,2 % en MRR frente al recuperador de API ToolLLM. En una interrupción simulada que afectó al 30 % de las herramientas, la selección de herramientas fallidas bajó del 86,2 % de esa referencia al 2,9 % con RATED. Son resultados de consultas de benchmark y fallos inyectados; no demuestran fiabilidad en producción.
Datos
Medida
Evaluación con consultas reales de EcoAgent; comparación con ToolLLM API Retriever
| RATED: mejora relativa de MRR | 52.2 | Evaluación con consultas reales de EcoAgent; comparación con ToolLLM API Retriever |
Metodología
Las cifras proceden de los experimentos de benchmark descritos en el artículo; no son mediciones de campo ni una garantía general de rendimiento.
Actualizado:
Medida
Experimento de interrupción simulada en EcoAgent; proporción de herramientas
| Proporción de herramientas con fallos inyectados | 30 | Experimento de interrupción simulada en EcoAgent; proporción de herramientas |
Metodología
Las cifras proceden de los experimentos de benchmark descritos en el artículo; no son mediciones de campo ni una garantía general de rendimiento.
Actualizado:
Medida
ToolLLM API Retriever en la misma prueba de interrupción simulada
| Selección de herramientas fallidas con ToolLLM API Retriever | 86.2 | ToolLLM API Retriever en la misma prueba de interrupción simulada |
Metodología
Las cifras proceden de los experimentos de benchmark descritos en el artículo; no son mediciones de campo ni una garantía general de rendimiento.
Actualizado:
Medida
RATED en la misma prueba de interrupción simulada
| Selección de herramientas fallidas con RATED | 2.9 | RATED en la misma prueba de interrupción simulada |
Metodología
Las cifras proceden de los experimentos de benchmark descritos en el artículo; no son mediciones de campo ni una garantía general de rendimiento.
Actualizado:
Temas y lugares
Propuestas temáticas
- Ciencia y tecnologíaSugerido
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Referencias geográficas
Solo se muestran referencias geográficas proporcionadas por la fuente. Abrir un mapa externo es opcional. Los mapas opcionales usan OpenStreetMap. Al abrirlos se envían tu dirección IP y la de este sitio al proveedor; los datos de ubicación pueden leerse sin cargar el mapa.
- Estados Unidos · Función del lugar: Cobertura · Tipo de lugar: País o área · Precisión de ubicación: RegionalEvidencia
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗