باحثو تكساس تك يختبرون استرجاع الأدوات المراعي للموثوقية
يجمع RATED بين المطابقة الدلالية وملاحظات نجاح الأدوات أثناء التشغيل.
فترة الحدث / البيانات: 2026-10-09
نُشر: · آخر تحديث:
قدّم باحثون من جامعة تكساس التقنية RATED، وهي طريقة لترتيب أدوات الوكلاء وفق صلة الأداة بالطلب وملاحظات التنفيذ معاً. وتجمع الطريقة بين مشفّر دلالي وخوارزمية باندت سياقية تعيد ترتيب الأدوات بعد إشارات النجاح أو الإخفاق.
في معيار EcoAgent، أفاد الباحثون بزيادة نسبية قدرها 52.2% في MRR مقارنة بمسترجع واجهات ToolLLM. وعند محاكاة تعطل 30% من الأدوات، انخفض اختيار الأدوات المتعطلة من 86.2% في خط الأساس إلى 2.9% مع RATED. هذه نتائج لطلبات معيارية وأعطال محقونة، ولا تثبت الموثوقية في الإنتاج.
البيانات
المقياس
تقييم استعلامات EcoAgent الفعلية؛ مقارنة بمسترجع ToolLLM API
| RATED: التحسن النسبي في MRR | 52.2 | تقييم استعلامات EcoAgent الفعلية؛ مقارنة بمسترجع ToolLLM API |
المنهجية
القيم من تجارب المعيار التي حددتها الورقة؛ وليست قياسات ميدانية أو ضمانات أداء عامة.
آخر تحديث:
المقياس
تجربة انقطاع محاكى في EcoAgent؛ نسبة الأدوات
| نسبة الأدوات ذات الأعطال المحقونة | 30 | تجربة انقطاع محاكى في EcoAgent؛ نسبة الأدوات |
المنهجية
القيم من تجارب المعيار التي حددتها الورقة؛ وليست قياسات ميدانية أو ضمانات أداء عامة.
آخر تحديث:
المقياس
ToolLLM API Retriever في اختبار الانقطاع المحاكى نفسه
| اختيار الأدوات المعطلة مع ToolLLM API Retriever | 86.2 | ToolLLM API Retriever في اختبار الانقطاع المحاكى نفسه |
المنهجية
القيم من تجارب المعيار التي حددتها الورقة؛ وليست قياسات ميدانية أو ضمانات أداء عامة.
آخر تحديث:
المقياس
RATED في اختبار الانقطاع المحاكى نفسه
| اختيار الأدوات المعطلة مع RATED | 2.9 | RATED في اختبار الانقطاع المحاكى نفسه |
المنهجية
القيم من تجارب المعيار التي حددتها الورقة؛ وليست قياسات ميدانية أو ضمانات أداء عامة.
آخر تحديث:
الموضوعات والأماكن
اقتراحات الموضوعات
- علوم وتكنولوجيامقترح
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
المراجع الجغرافية
تُعرض المراجع الجغرافية الواردة في المصدر فقط. فتح الخريطة الخارجية اختياري. تستخدم خرائط الأخبار الاختيارية OpenStreetMap. يرسل فتح الخريطة عنوان IP وعنوان هذا الموقع إلى مزود الخرائط؛ وتظل بيانات الموقع مقروءة كنص دون تحميل الخريطة.
- الولايات المتحدة · دور المكان: تغطية · نوع المكان: بلد أو منطقة · دقة الموقع: إقليميالدليل
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗