# NVIDIA und Princeton stellen ReplaySSM für schnelleres Decoding hybrider Modelle vor

> ReplaySSM puffert Eingaben von Zustandsraummodellen; laut Forschenden beschleunigte es Dekodierkerne über vier Modelle bei Batchgröße 256 um das 1,46- bis 1,80-Fache.

- Kanonische URL: https://newsverum.com/de/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026
- Herausgeber: Newsverum
- Rubrik: Technologie
- Land: Vereinigte Staaten
- Veröffentlicht: 2026-10-15T19:00:45+00:00
- Aktualisiert: 2026-10-15T19:00:45+00:00
- Ereignis- oder Datenzeitraum: 2026-10-12
- Weitere Ausgaben: [Türkçe](https://newsverum.com/tr/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026.md), [English](https://newsverum.com/en/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026.md), [العربية](https://newsverum.com/ar/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026.md), [Français](https://newsverum.com/fr/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026.md), [Español](https://newsverum.com/es/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026.md), [Português](https://newsverum.com/pt/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026.md)

Forschende von NVIDIA und Princetons Dao AI Lab stellten ReplaySSM vor, ein Verfahren für hybride Sprachmodelle, das jüngste Eingaben von Zustandsraummodellen (SSM) puffert, statt bei jedem Token-Schritt den vollständigen Zustand in den Speicher zu schreiben. Der Zustand wird als Kontrollpunkt plus kurzer Eingabepuffer dargestellt. Dadurch werden Ausgabeberechnung und Zustandsaktualisierung getrennt, was das Zurücksetzen bei spekulativem Decoding vereinfachen und die Fehleranhäufung bei niedrigpräzisen Lesevorgängen begrenzen soll.

Bei Tests mit vier Nemotron-3- und Qwen3.5-Modellen bei Batchgröße 256 meldete das Team eine Beschleunigung der Dekodierkerne um das 1,46- bis 1,80-Fache und Ende-zu-Ende um das 1,20- bis 1,47-Fache; bei Batchgröße 1 gab es in denselben Tests keinen Gewinn. Bei zwei Modellen der 120B-Klasse stieg der Durchsatz spekulativer Generierung bei Batchgröße 512 um das 1,85- beziehungsweise 2,10-Fache. Dies sind Ergebnisse unter den eigenen Hardware- und Softwarebedingungen der Forschenden; das Verfahren wurde in TensorRT-LLM, vLLM und FlashInfer integriert.

## Daten

### Dekodierbeschleunigung mit ReplaySSM

Endpunkte der gemeldeten Beschleunigungsbereiche für vier Hybridmodelle bei einer Serving-Batchgröße von 256.

Methodik: Vier-Modell-Ergebnisse aus dem Beitrag von NVIDIA und Princetons Dao AI Lab vom 12. Oktober 2026 im Vergleich zu abgestimmten vLLM-Kernels. Beide Messwerte werden in der Quelle als Bereiche angegeben; hier sind nur die unteren und oberen Endpunkte gespeichert. Die Tests nutzten jeweils eine H100- oder B300-GPU bei Batchgröße 256. Es sind Ergebnisse der Autoren unter ihren Hardware- und Implementierungsbedingungen.

| date | label | description | status |
|---|---|---|---|
| 2026-10-12 | NVIDIA und Princeton stellen ReplaySSM für schnelleres Decoding hybrider Modelle vor | Bei Tests mit vier Nemotron-3- und Qwen3.5-Modellen bei Batchgröße 256 meldete das Team eine Beschleunigung der Dekodierkerne um das 1,46- bis 1,80-Fache und Ende-zu-Ende um das 1,20- bis 1,47-Fache; bei Batchgröße 1 gab es in denselben Tests keinen Gewinn. Bei zwei Modellen der 120B-Klasse stieg der Durchsatz spekulativer Generierung bei Batchgröße 512 um das 1,85- beziehungsweise 2,10-Fache. Dies sind Ergebnisse unter den eigenen Hardware- und Softwarebedingungen der Forschenden; das Verfahren wurde in TensorRT-LLM, vLLM und FlashInfer integriert. | occurred |

Quellen: <https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/> · Daten herunterladen: [JSON](https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026/data/replayssm-decoding-speed-ranges?lang=de&format=json) · [CSV](https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026/data/replayssm-decoding-speed-ranges?lang=de&format=csv)

## Quellen

- [NVIDIA Technical Blog and Princeton University Dao AI Lab](<https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/>) (Quelle geprüft: 2026-10-15; Veröffentlicht: 2026-10-12)

---

Zitieren Sie die oben angegebene kanonische URL. [Redaktionsstandards und Korrekturen](https://newsverum.com/de/editorial)