AgentSWE kıyaslaması, kodlama ajanlarının teslim ettiği araçları sınadı

Beijing Academy of Artificial Intelligence ve ortak kurumlardan araştırmacılar, bir kodlama ajanının başka bir ajanı doğal dildeki gereksinime ne kadar uygun kurduğunu ölçmek için AgentSWE kıyaslamasını yayımladı. 9 Ekim tarihli arXiv ön baskısı, 25 görevi üç aşamada topluyor: sıfırdan ajan oluşturma, üretimdeki ajan kod tabanlarını düzenleme ve ölçülebilir bir hedefe göre optimizasyon. Ajanlar geliştirme sırasında sınırlı örneklerle çalışıyor; teslim edilen sürüm daha sonra gereksinimlerden türetilen ölçütlerle ayrı tutulan vakalarda değerlendiriliyor.

Yazarlar, inceledikleri model ve araç düzeneklerinde hiçbir ajanın gereksinimi karşılayan teslimata yaklaşamadığını ve görünen örneklere aşırı uyum, çalışmayan çalışma zamanı parçaları ve kanıtsız tamamlanma iddiaları gibi tekrar eden sorunlar bulduklarını bildiriyor. Bu değerlendirme, yalnızca kodun düzgün görünmesini değil, üretilen ajanın belirtilen işi yapmasını sınamayı hedefliyor. Sonuçlar 25 görevli araştırma kıyaslamasına ve kullanılan değerlendiricilere bağlı; tüm kodlama ajanları ya da gerçek üretim kullanımı için evrensel bir hata oranı sağlamıyor.