ProgramGym, kodlama ajanları için 1.648 doğrulanabilir eğitim ortamı sundu

Xiamen Üniversitesi ve diğer kurumlardan araştırmacılar, kodlama ajanlarının bir programın davranışını inceleyip onu sıfırdan yeniden üretmesini amaçlayan ProgramGym çerçevesini tanıttı. 9 Ekim'de arXiv'e gönderilen ön baskıda Program-Env, çalıştırılabilir örnek programlar, yalıtılmış çalışma alanları, kullanım belgeleri ve kara kutu testlerinden oluşan eğitim ortamları üretiyor. Yazarlar C, C++, Go ve Rust dillerinde 1.648 ortam hazırladıklarını bildiriyor. Program-Agent ise inceleme, uygulama ve gözden geçirme aşamalarını ayrı rollerle yürütüp derleme kontrolleri ve geri dönüş noktaları kullanıyor.

ProgramBench değerlendirmesinde yazarlar, oluşturulan ortamlardan alınan izlerle Qwen3.8-27B'yi ince ayarlamanın test geçme oranını yüzde 34,87'den yüzde 42,84'e çıkardığını bildiriyor. Program-Agent ile temel model yüzde 55,71, ince ayarlı sürüm yüzde 56,25 sonucuna ulaştı. Makalede test geçme ölçütü görev başına oranların makro ortalamasıdır; bu, tüm görevlerin çözüldüğü anlamına gelmez. Bulgular araştırmacıların derlediği program yeniden üretme görevlerine ve tarif edilen araç zincirine aittir; genel kodlama yeteneğini ölçmez.