Rollout-Time Intervention testet Agententraining bei neuen Aufgaben
Das Framework ergänzt Trainingsverläufe um Korrekturen mehrerer Agenten und filtert Verteilungsverschiebungen.
Ereignis-/Datenzeitraum: 2026-10-09
Veröffentlicht: · Aktualisiert:
Mit Alibaba und der Hong Kong University of Science and Technology verbundene Forschende stellten Rollout-Time Intervention (RTI) vor. Während des Trainings korrigiert RTI fehlgeschlagene Versuche mithilfe aufgabenspezifischer Bewertungsraster durch mehrere Agenten. Anschließend filtert es Eingriffe, die zu stark von der Modellverteilung abweichen, und gewichtet die übrigen Daten neu.
Im Out-of-Distribution-Test Claw-Eval-Hard20 berichtet der Artikel für das mit RTI trainierte Modell eine Pass@1-Rate von 62,92 %. Die Aufgabenfamilien dieses Tests wurden nicht für die synthetische Trainingsdatengenerierung verwendet; das Experiment bleibt jedoch auf von den Forschenden erstellte Aufgaben und API-Simulationen beschränkt. Der Artikel berichtet auch ein In-Distribution-Ergebnis für dieselben 20 Aufgabenfamilien. Die Ergebnisse belegen keine Leistung allgemeiner Agenten.
Daten
Forschungsergebnis
Claw-Eval-Hard20; Aufgabenfamilien nicht in der Trainingssynthese; Pass@1
| Pass@1 des RTI-Modells bei Claw-Eval-Hard20 außerhalb der Verteilung | 62.92 | Claw-Eval-Hard20; Aufgabenfamilien nicht in der Trainingssynthese; Pass@1 |
Methodik
Der Wert ist auf das im Artikel beschriebene Benchmark-Experiment beschränkt; er ist kein Feldergebnis und keine allgemeine Leistungsgarantie.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- China · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗