Forschende von Texas Tech testen zuverlässigen Werkzeugabruf für Agenten
RATED verbindet semantische Suche mit Rückmeldungen zur Funktionsfähigkeit von Werkzeugen während der Ausführung.
Ereignis-/Datenzeitraum: 2026-10-09
Veröffentlicht: · Aktualisiert:
Forschende der Texas Tech University stellten RATED vor, ein Verfahren, das Agentenwerkzeuge nach Anfragebezug und Rückmeldungen aus der Ausführung ordnet. Es kombiniert einen semantischen Encoder mit einem kontextuellen Banditen, der Werkzeuge nach Erfolgs- oder Fehlersignalen neu sortiert.
Im EcoAgent-Benchmark berichten die Autoren einen relativen MRR-Zuwachs von 52,2 % gegenüber dem ToolLLM-API-Retriever. Bei einem simulierten Ausfall von 30 % der Werkzeuge sank die Auswahl ausgefallener Werkzeuge von 86,2 % bei der Referenz auf 2,9 % mit RATED. Die Ergebnisse beruhen auf Benchmark-Anfragen und eingespeisten Ausfällen; sie belegen keine Zuverlässigkeit im Produktivbetrieb.
Daten
Messgröße
Auswertung realer EcoAgent-Anfragen; Vergleich mit ToolLLM API Retriever
| RATED: relativer MRR-Zuwachs | 52.2 | Auswertung realer EcoAgent-Anfragen; Vergleich mit ToolLLM API Retriever |
Methodik
Die Werte stammen aus den im Artikel beschriebenen Benchmark-Experimenten; sie sind weder Feldmessungen noch allgemeine Leistungsgarantien.
Aktualisiert:
Messgröße
Simulierter Ausfalltest in EcoAgent; Anteil der Werkzeuge
| Anteil der Werkzeuge mit eingespeistem Ausfall | 30 | Simulierter Ausfalltest in EcoAgent; Anteil der Werkzeuge |
Methodik
Die Werte stammen aus den im Artikel beschriebenen Benchmark-Experimenten; sie sind weder Feldmessungen noch allgemeine Leistungsgarantien.
Aktualisiert:
Messgröße
ToolLLM API Retriever im selben simulierten Ausfalltest
| Auswahl ausgefallener Werkzeuge mit ToolLLM API Retriever | 86.2 | ToolLLM API Retriever im selben simulierten Ausfalltest |
Methodik
Die Werte stammen aus den im Artikel beschriebenen Benchmark-Experimenten; sie sind weder Feldmessungen noch allgemeine Leistungsgarantien.
Aktualisiert:
Messgröße
RATED im selben simulierten Ausfalltest
| Auswahl ausgefallener Werkzeuge mit RATED | 2.9 | RATED im selben simulierten Ausfalltest |
Methodik
Die Werte stammen aus den im Artikel beschriebenen Benchmark-Experimenten; sie sind weder Feldmessungen noch allgemeine Leistungsgarantien.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Vereinigte Staaten · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗