Texas Tech araştırmacıları ajanlar için güvenilir araç aramasını test etti
RATED, anlam eşleştirmesini araçların çalışma sırasındaki başarı bilgisiyle birleştiriyor.
Olay / veri dönemi: 2026-10-09
Yayın: · Güncelleme:
Des chercheurs de Texas Tech University ont présenté RATED, une méthode qui classe les outils d’agent selon la pertinence d’une requête et les retours d’exécution. Le système associe un encodeur sémantique à un bandit contextuel qui réordonne les outils après les succès ou échecs.
Dans le benchmark EcoAgent, les auteurs signalent un gain relatif de 52,2 % du MRR face au récupérateur d’API ToolLLM. Lors d’une panne simulée touchant 30 % des outils, le taux de sélection d’outils en panne est passé de 86,2 % pour cette référence à 2,9 % avec RATED. L’essai repose sur des requêtes de benchmark et des pannes injectées; il ne prouve pas la fiabilité en production.
Veriler
Ölçüt
EcoAgent gerçek sorgu kümesi; ToolLLM API Retriever karşılaştırması
| RATED: MRR göreli artışı | 52.2 | EcoAgent gerçek sorgu kümesi; ToolLLM API Retriever karşılaştırması |
Yöntem
Rakamlar makalenin tanımladığı kıyaslama deneylerine aittir; saha ölçümü veya genel performans garantisi değildir.
Güncelleme:
Ölçüt
EcoAgent simüle edilmiş kesinti deneyi; arızalı araçların payı
| Enjekte edilen araç kesintisi kapsamı | 30 | EcoAgent simüle edilmiş kesinti deneyi; arızalı araçların payı |
Yöntem
Rakamlar makalenin tanımladığı kıyaslama deneylerine aittir; saha ölçümü veya genel performans garantisi değildir.
Güncelleme:
Ölçüt
Aynı simüle edilmiş kesinti deneyinde ToolLLM API Retriever
| Arızalı araç seçimi, ToolLLM API Retriever | 86.2 | Aynı simüle edilmiş kesinti deneyinde ToolLLM API Retriever |
Yöntem
Rakamlar makalenin tanımladığı kıyaslama deneylerine aittir; saha ölçümü veya genel performans garantisi değildir.
Güncelleme:
Ölçüt
Aynı simüle edilmiş kesinti deneyinde RATED
| Arızalı araç seçimi, RATED | 2.9 | Aynı simüle edilmiş kesinti deneyinde RATED |
Yöntem
Rakamlar makalenin tanımladığı kıyaslama deneylerine aittir; saha ölçümü veya genel performans garantisi değildir.
Güncelleme:
Konular ve yerler
Konu önerileri
- Bilim ve teknolojiÖneri
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Coğrafi referanslar
Yalnızca kaynakta bulunan coğrafi referanslar gösterilir. Harici haritayı açmak isteğe bağlıdır. İsteğe bağlı haber haritaları OpenStreetMap kullanır. Haritayı açtığınızda IP adresiniz ve site adresi harita sağlayıcısına iletilir; harita yüklenmeden konum verileri metin olarak okunabilir.
- Amerika Birleşik Devletleri · Yer rolü: Kapsam · Yer türü: Ülke veya bölge · Konum kesinliği: BölgeselKanıt
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗