Cohere, kodlama ajanı ekip stratejilerini karşılaştırdı
Cohere’nin ProgramBench testlerinde planlama odaklı ekipler daha düşük bildirilen maliyetle benzer puan aldı.
Olay / veri dönemi: 2026-10-14
Yayın: · Güncelleme:
Cohere araştırmacıları, kodlama ajanı ekiplerinin nasıl düzenlendiğini karşılaştıran kontrollü bir deney yayımladı. 200 görevli ProgramBench testinde, yalnızca planlamayı devreden GPT-5.6 Sol eşzamansız ekibi yüzde 63,6 ödül ve 249 dolar maliyet bildirdi; tüm aşamaları devreden GPT-5.6 Sol ekibi yüzde 63,2 ve 510 dolara ulaştı. Her iki sonuç üç çalıştırmanın ortalamasıydı.
On altı GPT-5.6 Luna planlama ajanını yöneten bir GPT-5.6 Sol lideri yüzde 61,8 ödül ve 155 dolar maliyet elde etti; tüm-Sol planlama ekibi yüzde 63,6 ve 249 dolardaydı. Bu sabit 16-ajan yapılandırması yalnızca bir kez çalıştırıldı. Cohere, bulguların kendi test ortamına özgü olduğunu ve bazı model karşılaştırmalarının tek denemeye dayandığını belirtiyor; sonuçlar genel ajan performansını kanıtlamıyor.
Veriler
Cohere, kodlama ajanı ekip stratejilerini karşılaştırdı
Kaynağın duyurduğu gelişmenin tarihi ve kapsamı.
- · Gerçekleşti
Cohere, kodlama ajanı ekip stratejilerini karşılaştırdı
Cohere’nin ProgramBench testlerinde planlama odaklı ekipler daha düşük bildirilen maliyetle benzer puan aldı.
Yöntem
Kaynağın yayımladığı duyuru tarihi tek olay olarak kaydedilmiştir.
Güncelleme:
Cohere ProgramBench ekip sonuçları
Cohere’nin kodlama ajanı ekiplerini değerlendirdiği ProgramBench sonuçları; ödül puanı ve çıkarım maliyeti kaynakta raporlandığı biçimdedir.
| GPT-5.6 Sol; eşzamansız lider yalnızca planlamayı devrediyor | 63.6 | 249 | 200 görev; 3 çalıştırmanın ortalaması |
| GPT-5.6 Sol; eşzamansız lider tüm aşamaları devrediyor | 63.2 | 510 | 200 görev; 3 çalıştırmanın ortalaması |
| GPT-5.6 Sol lider; 16 GPT-5.6 Luna planlama ajanı | 61.8 | 155 | Sabit 16 ajanlı yapılandırma; 1 çalıştırma |
Yöntem
Ödül, 200 ProgramBench görevi boyunca gizli davranış testlerinden geçen payın ortalamasıdır. İlk iki eşzamansız GPT-5.6 Sol yapılandırması üç çalıştırmanın ortalamasıdır; sabit 16 GPT-5.6 Luna çalışanı yapılandırması yalnızca bir kez çalıştırılmıştır. Sonuçlar Cohere’nin kendi test düzeneğine aittir.
Güncelleme:
Konular ve yerler
Konu önerileri
- Bilim ve teknolojiÖneri
- Preserved editorial category/topic; broad candidate onlycohere.com ↗
Coğrafi referanslar
Yalnızca kaynakta bulunan coğrafi referanslar gösterilir. Harici haritayı açmak isteğe bağlıdır. İsteğe bağlı haber haritaları OpenStreetMap kullanır. Haritayı açtığınızda IP adresiniz ve site adresi harita sağlayıcısına iletilir; harita yüklenmeden konum verileri metin olarak okunabilir.
- Kanada · Yer rolü: Kapsam · Yer türü: Ülke veya bölge · Konum kesinliği: BölgeselKanıt
- Explicit preserved editorial country/region; no city or national centroid inferredcohere.com ↗