يقيس معيار AgentSWE ما تسلمه وكلاء البرمجة فعلياً

نشر باحثون مرتبطون بأكاديمية بكين للذكاء الاصطناعي ومؤسسات شريكة معيار AgentSWE لقياس مدى إنشاء وكيل البرمجة وكيلاً آخر يفي بمتطلب مكتوب بلغة طبيعية. وتغطي مسودة arXiv المؤرخة في 9 أكتوبر 25 مهمة عبر ثلاث مراحل: إنشاء وكيل من الصفر، وتعديل قواعد شيفرة وكلاء مستخدمة في الإنتاج، وتحسين الأداء نحو هدف قابل للقياس. يعمل الوكيل المنشئ على مجموعة محدودة من الأمثلة التوضيحية، ثم يُقيّم التسليم على حالات محجوبة وفق معايير مستمدة من المتطلب.

يفيد المؤلفون بأن أياً من تركيبات النماذج وأدوات التشغيل التي قيّموها لم يقترب من تنفيذ ما طلبته المتطلبات. وحدد تحليلهم مشكلات متكررة تشمل الإفراط في التوافق مع الأمثلة الظاهرة، ووجود بيئات تشغيل لا تؤدي العمل الموعود، وادعاءات إتمام بلا دليل. لذلك يختبر المعيار أداء الوكيل المبني للمهمة المحددة بدلاً من مظهر اكتمال الشيفرة. وتظل النتائج خاصة بمهام البحث الخمس والعشرين وإعدادات التقييم في المسودة؛ ولا تثبت معدل إخفاق عاماً لوكلاء البرمجة أو الاستخدام الإنتاجي.