SWE-Critix trainiert Agentenkritiker für die Code-Reparatur
Das Verfahren trainiert einen Code-Agenten, Reparaturverläufe mit differenziertem Denken und Testbelohnungen zu beurteilen.
Ereignis-/Datenzeitraum: 2026-10-09
Veröffentlicht: · Aktualisiert:
Forschende von Huawei und der Monash University Malaysia stellten SWE-Critix vor, ein Trainingsverfahren für Prüfermodelle, die anhand des Ausführungsverlaufs eines Programmieragenten beurteilen, ob dessen Aufgabe gelöst wurde. Ein Lehrermodell vergleicht erfolgreiche und fehlgeschlagene Verläufe derselben Aufgabe für Trainingserklärungen; darauf folgen überwachtes Feintuning und bestärkendes Lernen mit Belohnungen aus Testergebnissen.
Das endgültige System erreichte im CodeForge-Preview-Test des Artikels eine Gesamtgenauigkeit von 78 %. Die Autoren maßen dies anhand eines Testsatzes aus derselben Datenquelle; sie berichten, dass Testbelohnungen erfolgreiche Reparaturen besser unterscheidbar machten, während der Recall für manche Fehlerklassen niedrig blieb. Dieses frühe Benchmark-Ergebnis belegt keinen Erfolg in realen Repositories.
Daten
Forschungsergebnis
CodeForge Preview; Testverläufe aus derselben Quelle; von den Autoren berichtete Gesamtgenauigkeit
| Gesamtgenauigkeit bei CodeForge-Preview-Testverläufen | 78 | CodeForge Preview; Testverläufe aus derselben Quelle; von den Autoren berichtete Gesamtgenauigkeit |
Methodik
Der Wert ist auf das im Artikel beschriebene Benchmark-Experiment beschränkt; er ist kein Feldergebnis und keine allgemeine Leistungsgarantie.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Sonderverwaltungsregion Hongkong · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗