{"article":{"annotation":{"article_id":"nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026","available_at":"2026-10-15T19:01:07.041185Z","geography_revision":"ef6ee0010dda5fe7b240fd514749b43e214c57da73222d2e40ec83b276dd0977","id":"bbf175e145a9f6b5a5874a90d1be7065a00343c0d618061908a4794adc402f8d","input_sha256":"fc2c3fc353942d1bf2780aa890b5ef59701f6e2f848eec21b99182003e33c49d","limitations":["Rule-derived subjects are candidates, not verified editorial labels or calibrated model probabilities.","Coverage is distinct from event location. Unknown country/city/coordinates remain absent; no automatic geocoding.","Article geometries keep their stated precision and methodology; reproducing them is not independent coordinate verification."],"method":"controlled-rules-v1","places":[{"admin1":null,"city":null,"coordinate_note":null,"coordinate_reference_system":"OGC:CRS84","coordinate_source":null,"country":"US","evidence":[{"field":"country","language":"en","note":"Explicit preserved editorial country/region; no city or national centroid inferred","source_urls":["https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/"]}],"geometry":null,"id":"iso3166-1:US","kind":"country-or-area","labels":{"ar":"الولايات المتحدة الأمريكية","en":"United States of America","es":"Estados Unidos de América","fr":"États-Unis d’Amérique"},"match_status":"candidate","precision":"regional","role":"coverage","uncertainty_m":null}],"rules_sha256":"fb5ad3c27c91cb840f7a0a05f7f64a5cb26ad0374409ff9457f277c7092e22b4","schema_version":1,"subjects":[{"concept_id":"medtop:13000000","confidence":null,"confidence_method":null,"evidence":[{"field":"category+topics","language":"en","note":"Preserved editorial category/topic; broad candidate only","source_urls":["https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/"]}],"method":"controlled-rules-v1","rule_id":"technology-broad","status":"candidate"}],"taxonomy_revision":"1f2db31d811fca07e99b16d402c10e2cc2965c9df1c7b41d9be348b40a24e7fb","taxonomy_version":"IPTC Media Topics 2026-Q2"},"api_url":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026?lang=fr","category":"technology","content":{"key_points":[],"paragraphs":["Des chercheurs de NVIDIA et du laboratoire Dao AI de l’université de Princeton ont présenté ReplaySSM, une méthode pour les modèles de langage hybrides qui met en mémoire tampon les entrées récentes des modèles à espace d’états (SSM) au lieu d’écrire l’état complet en mémoire à chaque jeton. L’état est représenté par un point de contrôle et un court tampon d’entrées, ce qui sépare le calcul de sortie des mises à jour d’état afin de simplifier le retour arrière du décodage spéculatif et de limiter l’accumulation d’erreurs lors de lectures en faible précision.","Dans des tests sur quatre modèles Nemotron 3 et Qwen3.5 avec un lot de 256, l’équipe rapporte une accélération de 1,46 à 1,80 fois des kernels de décodage et de 1,20 à 1,47 fois de bout en bout ; les mêmes tests n’ont montré aucun gain avec un lot de 1. Sur deux modèles de classe 120B, le débit de génération spéculative a été multiplié par 1,85 et 2,10 avec un lot de 512. Ce sont les résultats de l’équipe dans ses propres conditions matérielles et logicielles ; la méthode a été intégrée à TensorRT-LLM, vLLM et FlashInfer."],"sections":[]},"corrections":[],"country":"US","data":{"blocks":[{"description":{"ar":"حدود نطاقات التسريع المعلنة عبر أربعة نماذج هجينة عند حجم دفعة الخدمة 256.","de":"Endpunkte der gemeldeten Beschleunigungsbereiche für vier Hybridmodelle bei einer Serving-Batchgröße von 256.","en":"Endpoints of speedup ranges reported across four hybrid models at serving batch size 256.","es":"Extremos de los intervalos de aceleración comunicados en cuatro modelos híbridos con lote de servicio de 256.","fr":"Bornes des plages d’accélération rapportées pour quatre modèles hybrides avec un lot de service de 256.","pt":"Limites dos intervalos de aceleração divulgados em quatro modelos híbridos com lote de serviço 256.","tr":"256'lık sunum toplu işinde dört hibrit modelde bildirilen hızlanma aralıklarının uç değerleri."},"id":"replayssm-decoding-speed-ranges","items":[{"date":"2026-10-12","description":{"ar":"في اختبارات أربعة نماذج من Nemotron 3 وQwen3.5 عند حجم دفعة 256، أبلغ الفريق عن تسريع لنوى فك الترميز بين 1.46 و1.80 مرة، وتسريع من البداية إلى النهاية بين 1.20 و1.47 مرة؛ ولم تظهر مكاسب عند حجم دفعة واحد في الاختبارات نفسها. وفي نموذجين من فئة 120 ملياراً، زاد معدل الإنتاج الاستدلالي 1.85 و2.10 مرة عند حجم دفعة 512. هذه نتائج الفريق ضمن شروط أجهزته وبرامجه؛ وقد دُمجت الطريقة في TensorRT-LLM وvLLM وFlashInfer.","de":"Bei Tests mit vier Nemotron-3- und Qwen3.5-Modellen bei Batchgröße 256 meldete das Team eine Beschleunigung der Dekodierkerne um das 1,46- bis 1,80-Fache und Ende-zu-Ende um das 1,20- bis 1,47-Fache; bei Batchgröße 1 gab es in denselben Tests keinen Gewinn. Bei zwei Modellen der 120B-Klasse stieg der Durchsatz spekulativer Generierung bei Batchgröße 512 um das 1,85- beziehungsweise 2,10-Fache. Dies sind Ergebnisse unter den eigenen Hardware- und Softwarebedingungen der Forschenden; das Verfahren wurde in TensorRT-LLM, vLLM und FlashInfer integriert.","en":"In tests on four Nemotron 3 and Qwen3.5 models at batch size 256, the team reported decoding-kernel speedups of 1.46–1.80 times and end-to-end speedups of 1.20–1.47 times; the same tests showed no gain at batch size one. On two 120B-class models, speculative throughput rose 1.85 and 2.10 times at batch size 512. These are results under the researchers' own hardware and software conditions; the method has been integrated into TensorRT-LLM, vLLM and FlashInfer.","es":"En pruebas con cuatro modelos Nemotron 3 y Qwen3.5 con lote 256, el equipo comunicó aceleraciones de 1,46 a 1,80 veces en los kernels de decodificación y de 1,20 a 1,47 veces de extremo a extremo; las mismas pruebas no mostraron mejoras con lote 1. En dos modelos de clase 120B, el rendimiento de generación especulativa aumentó 1,85 y 2,10 veces con lote 512. Son resultados del equipo bajo sus propias condiciones de hardware y software; el método se ha integrado en TensorRT-LLM, vLLM y FlashInfer.","fr":"Dans des tests sur quatre modèles Nemotron 3 et Qwen3.5 avec un lot de 256, l’équipe rapporte une accélération de 1,46 à 1,80 fois des kernels de décodage et de 1,20 à 1,47 fois de bout en bout ; les mêmes tests n’ont montré aucun gain avec un lot de 1. Sur deux modèles de classe 120B, le débit de génération spéculative a été multiplié par 1,85 et 2,10 avec un lot de 512. Ce sont les résultats de l’équipe dans ses propres conditions matérielles et logicielles ; la méthode a été intégrée à TensorRT-LLM, vLLM et FlashInfer.","pt":"Em testes com quatro modelos Nemotron 3 e Qwen3.5 com lote 256, a equipa reportou acelerações de 1,46 a 1,80 vezes nos kernels de descodificação e de 1,20 a 1,47 vezes de ponta a ponta; os mesmos testes não mostraram ganhos com lote 1. Em dois modelos da classe 120B, o rendimento da geração especulativa aumentou 1,85 e 2,10 vezes com lote 512. São resultados da equipa nas suas próprias condições de hardware e software; o método foi integrado no TensorRT-LLM, vLLM e FlashInfer.","tr":"Dört Nemotron 3 ve Qwen3.5 modeli üzerinde yapılan testlerde toplu iş 256 olduğunda çekirdek çözümleme hızlanması 1,46–1,80 kat, uçtan uca hızlanma 1,20–1,47 kat olarak bildirildi; toplu iş 1'de aynı testlerde hız kazanımı görülmedi. İki 120B sınıfı modelde spekülatif üretim verimi toplu iş 512'de 1,85 ve 2,10 katına çıktı. Sonuçlar NVIDIA ve Princeton ekibinin kendi donanım ve yazılım koşullarındaki ölçümleridir; yöntem TensorRT-LLM, vLLM ve FlashInfer ile bütünleştirildi."},"label":{"ar":"NVIDIA وبرنستون تقدمان ReplaySSM لتسريع فك ترميز النماذج الهجينة","de":"NVIDIA und Princeton stellen ReplaySSM für schnelleres Decoding hybrider Modelle vor","en":"NVIDIA and Princeton introduce ReplaySSM to speed hybrid-model decoding","es":"NVIDIA y Princeton presentan ReplaySSM para acelerar la decodificación de modelos híbridos","fr":"NVIDIA et Princeton présentent ReplaySSM pour accélérer le décodage des modèles hybrides","pt":"NVIDIA e Princeton apresentam ReplaySSM para acelerar a descodificação de modelos híbridos","tr":"NVIDIA ve Princeton, hibrit model çözümlemesini hızlandıran ReplaySSM'i tanıttı"},"status":"occurred"}],"methodology":{"ar":"نتائج أربعة نماذج وردت في منشور NVIDIA ومختبر Dao AI في برنستون بتاريخ 12 أكتوبر 2026، مقارنة بنوى vLLM مضبوطة. يورد المصدر كل مقياس كنطاق؛ وقد سُجل طرفاه الأدنى والأعلى فقط. استخدمت الاختبارات وحدة H100 أو B300 واحدة وحجم دفعة 256. هذه نتائج أداء المؤلفين ضمن شروط الأجهزة والتنفيذ لديهم.","de":"Vier-Modell-Ergebnisse aus dem Beitrag von NVIDIA und Princetons Dao AI Lab vom 12. Oktober 2026 im Vergleich zu abgestimmten vLLM-Kernels. Beide Messwerte werden in der Quelle als Bereiche angegeben; hier sind nur die unteren und oberen Endpunkte gespeichert. Die Tests nutzten jeweils eine H100- oder B300-GPU bei Batchgröße 256. Es sind Ergebnisse der Autoren unter ihren Hardware- und Implementierungsbedingungen.","en":"Four-model results reported in the 12 October 2026 post by NVIDIA and Princeton's Dao AI Lab, compared with tuned vLLM kernels. Each measure is reported as a range in the source; only its lower and upper endpoints are stored here. Tests used one H100 or B300 GPU at batch size 256. These are the authors' performance results under their hardware and implementation conditions.","es":"Resultados en cuatro modelos publicados el 12 de octubre de 2026 por NVIDIA y el laboratorio Dao AI de Princeton, comparados con kernels vLLM optimizados. Cada medida aparece como un intervalo en la fuente; aquí solo se registran sus extremos inferior y superior. Las pruebas usaron una GPU H100 o B300 y un lote de 256. Son resultados de los autores bajo sus condiciones de hardware e implementación.","fr":"Résultats sur quatre modèles publiés le 12 octobre 2026 par NVIDIA et le laboratoire Dao AI de Princeton, avec comparaison aux kernels vLLM réglés. Chaque mesure est donnée sous forme de plage ; seules ses bornes basse et haute sont enregistrées ici. Les tests utilisent un seul GPU H100 ou B300 avec un lot de 256. Il s’agit des résultats des auteurs dans leurs conditions matérielles et logicielles.","pt":"Resultados em quatro modelos divulgados em 12 de outubro de 2026 pela NVIDIA e pelo laboratório Dao AI de Princeton, comparados com kernels vLLM otimizados. Cada medida é apresentada como intervalo na fonte; aqui registam-se apenas os limites inferior e superior. Os testes usaram uma GPU H100 ou B300 com lote 256. São resultados dos autores nas condições de hardware e implementação por eles usadas.","tr":"NVIDIA ve Princeton Dao AI Lab'ın 12 Ekim 2026 tarihli yazısındaki, ayarlanmış vLLM çekirdekleriyle karşılaştırmalı dört model sonuçları. İki metriğin her biri kaynakta aralık olarak verilir; burada yalnızca alt ve üst uç ayrı kaydedilmiştir. Testler tek H100 veya B300 GPU üzerinde yürütülmüş, toplu iş 256'dır. Bunlar yazarların donanım ve uygulama koşullarındaki performans sonuçlarıdır."},"sourceUrls":["https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/"],"title":{"ar":"تسريع فك الترميز باستخدام ReplaySSM","de":"Dekodierbeschleunigung mit ReplaySSM","en":"ReplaySSM decoding speedup","es":"Aceleración de decodificación con ReplaySSM","fr":"Accélération du décodage avec ReplaySSM","pt":"Aceleração da descodificação com ReplaySSM","tr":"ReplaySSM çözümleme hızlanması"},"type":"events","updatedAt":"2026-10-15T18:52:01+00:00"}],"version":1},"data_downloads":[{"formats":{"csv":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026/data/replayssm-decoding-speed-ranges?lang=fr&format=csv","json":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026/data/replayssm-decoding-speed-ranges?lang=fr&format=json"},"id":"replayssm-decoding-speed-ranges"}],"data_types":["events"],"editorial_illustration":{"alt":"Illustration conceptuelle de la technologie, des processeurs et des informations connectées.","asset_id":"newsverum-v1-technology","avif_variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.avif","width":480},{"height":480,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-720.avif","width":720},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.avif","width":960},{"height":800,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1200.avif","width":1200},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.avif","width":1536}],"credit":"Newsverum","documentary":false,"height":1024,"kind":"symbolic-editorial-illustration","language":"fr","scope":"topic","url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.webp","width":480},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.webp","width":960},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","width":1536}],"width":1536},"event_id":"event-0bc21ac2-4a3a-5669-a278-4af7007b8509","event_period":"2026-10-12","event_period_basis":"event-or-reference-period","id":"nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026","image":null,"importance":0.6,"language":"fr","modified_at":"2026-10-15T19:00:45+00:00","publication_basis":"publication-record","published_at":"2026-10-15T19:00:45+00:00","reading_minutes":2,"region":"world","section_illustration":{"alt":"Illustration conceptuelle de la technologie, des processeurs et des informations connectées.","asset_id":"newsverum-v1-technology","avif_variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.avif","width":480},{"height":480,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-720.avif","width":720},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.avif","width":960},{"height":800,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1200.avif","width":1200},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.avif","width":1536}],"credit":"Newsverum","documentary":false,"height":1024,"kind":"symbolic-editorial-illustration","language":"fr","scope":"section","url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.webp","width":480},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.webp","width":960},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","width":1536}],"width":1536},"slug":"nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026","sources":[{"checkedAt":"2026-10-15","name":"NVIDIA Technical Blog and Princeton University Dao AI Lab","publishedAt":"2026-10-12","url":"https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/"}],"summary":"Selon les chercheurs, ReplaySSM, qui met en mémoire tampon les entrées des modèles à espace d’états, a accéléré les kernels de décodage de 1,46 à 1,80 fois sur quatre modèles avec un lot de 256.","text":"Selon les chercheurs, ReplaySSM, qui met en mémoire tampon les entrées des modèles à espace d’états, a accéléré les kernels de décodage de 1,46 à 1,80 fois sur quatre modèles avec un lot de 256.\n\nDes chercheurs de NVIDIA et du laboratoire Dao AI de l’université de Princeton ont présenté ReplaySSM, une méthode pour les modèles de langage hybrides qui met en mémoire tampon les entrées récentes des modèles à espace d’états (SSM) au lieu d’écrire l’état complet en mémoire à chaque jeton. L’état est représenté par un point de contrôle et un court tampon d’entrées, ce qui sépare le calcul de sortie des mises à jour d’état afin de simplifier le retour arrière du décodage spéculatif et de limiter l’accumulation d’erreurs lors de lectures en faible précision.\n\nDans des tests sur quatre modèles Nemotron 3 et Qwen3.5 avec un lot de 256, l’équipe rapporte une accélération de 1,46 à 1,80 fois des kernels de décodage et de 1,20 à 1,47 fois de bout en bout ; les mêmes tests n’ont montré aucun gain avec un lot de 1. Sur deux modèles de classe 120B, le débit de génération spéculative a été multiplié par 1,85 et 2,10 avec un lot de 512. Ce sont les résultats de l’équipe dans ses propres conditions matérielles et logicielles ; la méthode a été intégrée à TensorRT-LLM, vLLM et FlashInfer.","title":"NVIDIA et Princeton présentent ReplaySSM pour accélérer le décodage des modèles hybrides","topics":[],"translations":[{"api_url":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026?lang=tr","language":"tr","url":"https://newsverum.com/tr/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026"},{"api_url":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026?lang=en","language":"en","url":"https://newsverum.com/en/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026"},{"api_url":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026?lang=ar","language":"ar","url":"https://newsverum.com/ar/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026"},{"api_url":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026?lang=fr","language":"fr","url":"https://newsverum.com/fr/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026"},{"api_url":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026?lang=es","language":"es","url":"https://newsverum.com/es/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026"},{"api_url":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026?lang=de","language":"de","url":"https://newsverum.com/de/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026"},{"api_url":"https://newsverum.com/api/v1/articles/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026?lang=pt","language":"pt","url":"https://newsverum.com/pt/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026"}],"url":"https://newsverum.com/fr/news/nvidia-princeton-replay-ssm-speeds-hybrid-decoding-october-2026"},"version":"1"}