Des chercheurs de Texas Tech testent la recherche d’outils fiable pour les agents
RATED associe la correspondance sémantique aux retours sur le fonctionnement des outils en exécution.
Période de l’événement / des données: 2026-10-09
Publié: · Mis à jour:
Des chercheurs de Texas Tech University ont présenté RATED, une méthode qui classe les outils d’agents selon leur pertinence pour une requête et les retours d’exécution. Elle associe un encodeur sémantique à un bandit contextuel qui réordonne les outils après les signaux de réussite ou d’échec.
Sur le benchmark EcoAgent, les auteurs rapportent un gain relatif de 52,2 % du MRR par rapport au récupérateur d’API ToolLLM. Lors d’une panne simulée touchant 30 % des outils, le taux de sélection d’outils indisponibles est passé de 86,2 % pour cette référence à 2,9 % avec RATED. Ces résultats reposent sur des requêtes de benchmark et des pannes injectées; ils ne démontrent pas la fiabilité en production.
Données
Mesure
Évaluation sur les requêtes réelles d’EcoAgent; comparaison avec ToolLLM API Retriever
| RATED : gain relatif du MRR | 52.2 | Évaluation sur les requêtes réelles d’EcoAgent; comparaison avec ToolLLM API Retriever |
Méthodologie
Les valeurs proviennent des expériences de benchmark décrites dans l’article; elles ne constituent ni des mesures de terrain ni une garantie générale de performance.
Mis à jour:
Mesure
Expérience de panne simulée EcoAgent; part des outils
| Part des outils affectés par une panne injectée | 30 | Expérience de panne simulée EcoAgent; part des outils |
Méthodologie
Les valeurs proviennent des expériences de benchmark décrites dans l’article; elles ne constituent ni des mesures de terrain ni une garantie générale de performance.
Mis à jour:
Mesure
ToolLLM API Retriever dans le même test de panne simulée
| Sélection d’outils indisponibles avec ToolLLM API Retriever | 86.2 | ToolLLM API Retriever dans le même test de panne simulée |
Méthodologie
Les valeurs proviennent des expériences de benchmark décrites dans l’article; elles ne constituent ni des mesures de terrain ni une garantie générale de performance.
Mis à jour:
Mesure
RATED dans le même test de panne simulée
| Sélection d’outils indisponibles avec RATED | 2.9 | RATED dans le même test de panne simulée |
Méthodologie
Les valeurs proviennent des expériences de benchmark décrites dans l’article; elles ne constituent ni des mesures de terrain ni une garantie générale de performance.
Mis à jour:
Sujets et lieux
Sujets proposés
- Science et technologieProposé
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Références géographiques
Seules les références géographiques présentes dans la source sont affichées. L’ouverture d’une carte externe est facultative. Les cartes facultatives utilisent OpenStreetMap. Leur ouverture transmet votre adresse IP et celle de ce site au fournisseur ; les coordonnées restent lisibles sans charger la carte.
- États-Unis · Rôle du lieu: Couverture · Type de lieu: Pays ou territoire · Précision de localisation: RégionaleÉléments probants
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗