NVIDIA und Princeton stellen ReplaySSM für schnelleres Decoding hybrider Modelle vor
ReplaySSM puffert Eingaben von Zustandsraummodellen; laut Forschenden beschleunigte es Dekodierkerne über vier Modelle bei Batchgröße 256 um das 1,46- bis 1,80-Fache.
Ereignis-/Datenzeitraum: 2026-10-12
Veröffentlicht: · Aktualisiert:
Forschende von NVIDIA und Princetons Dao AI Lab stellten ReplaySSM vor, ein Verfahren für hybride Sprachmodelle, das jüngste Eingaben von Zustandsraummodellen (SSM) puffert, statt bei jedem Token-Schritt den vollständigen Zustand in den Speicher zu schreiben. Der Zustand wird als Kontrollpunkt plus kurzer Eingabepuffer dargestellt. Dadurch werden Ausgabeberechnung und Zustandsaktualisierung getrennt, was das Zurücksetzen bei spekulativem Decoding vereinfachen und die Fehleranhäufung bei niedrigpräzisen Lesevorgängen begrenzen soll.
Bei Tests mit vier Nemotron-3- und Qwen3.5-Modellen bei Batchgröße 256 meldete das Team eine Beschleunigung der Dekodierkerne um das 1,46- bis 1,80-Fache und Ende-zu-Ende um das 1,20- bis 1,47-Fache; bei Batchgröße 1 gab es in denselben Tests keinen Gewinn. Bei zwei Modellen der 120B-Klasse stieg der Durchsatz spekulativer Generierung bei Batchgröße 512 um das 1,85- beziehungsweise 2,10-Fache. Dies sind Ergebnisse unter den eigenen Hardware- und Softwarebedingungen der Forschenden; das Verfahren wurde in TensorRT-LLM, vLLM und FlashInfer integriert.
Daten
Dekodierbeschleunigung mit ReplaySSM
Endpunkte der gemeldeten Beschleunigungsbereiche für vier Hybridmodelle bei einer Serving-Batchgröße von 256.
- · eingetreten
NVIDIA und Princeton stellen ReplaySSM für schnelleres Decoding hybrider Modelle vor
Bei Tests mit vier Nemotron-3- und Qwen3.5-Modellen bei Batchgröße 256 meldete das Team eine Beschleunigung der Dekodierkerne um das 1,46- bis 1,80-Fache und Ende-zu-Ende um das 1,20- bis 1,47-Fache; bei Batchgröße 1 gab es in denselben Tests keinen Gewinn. Bei zwei Modellen der 120B-Klasse stieg der Durchsatz spekulativer Generierung bei Batchgröße 512 um das 1,85- beziehungsweise 2,10-Fache. Dies sind Ergebnisse unter den eigenen Hardware- und Softwarebedingungen der Forschenden; das Verfahren wurde in TensorRT-LLM, vLLM und FlashInfer integriert.
Methodik
Vier-Modell-Ergebnisse aus dem Beitrag von NVIDIA und Princetons Dao AI Lab vom 12. Oktober 2026 im Vergleich zu abgestimmten vLLM-Kernels. Beide Messwerte werden in der Quelle als Bereiche angegeben; hier sind nur die unteren und oberen Endpunkte gespeichert. Die Tests nutzten jeweils eine H100- oder B300-GPU bei Batchgröße 256. Es sind Ergebnisse der Autoren unter ihren Hardware- und Implementierungsbedingungen.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlydeveloper.nvidia.com ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Vereinigte Staaten · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferreddeveloper.nvidia.com ↗