NVIDIA ve Princeton, hibrit model çözümlemesini hızlandıran ReplaySSM'i tanıttı
Araştırmacılar, durum uzayı modeli girdilerini önbelleğe alan ReplaySSM'in toplu iş 256'da çekirdek çözümleme hızını dört modelde 1,46–1,80 kata çıkardığını bildirdi.
Olay / veri dönemi: 2026-10-12
Yayın: · Güncelleme:
NVIDIA ile Princeton Üniversitesi Dao AI Lab araştırmacıları, hibrit dil modellerinde durum uzayı modeli (SSM) katmanlarının durum bilgisini her token adımında belleğe yazmak yerine son girdileri önbelleğe alan ReplaySSM yöntemini anlattı. Yaklaşım, bir denetim noktası ile kısa girdi tamponunu birlikte kullanarak çıktı hesabını durum güncellemesinden ayırıyor; bu da spekülatif çözümlemede geri almayı kolaylaştırmayı ve düşük hassasiyetli okumaların birikimli hatasını sınırlamayı amaçlıyor.
Dört Nemotron 3 ve Qwen3.5 modeli üzerinde yapılan testlerde toplu iş 256 olduğunda çekirdek çözümleme hızlanması 1,46–1,80 kat, uçtan uca hızlanma 1,20–1,47 kat olarak bildirildi; toplu iş 1'de aynı testlerde hız kazanımı görülmedi. İki 120B sınıfı modelde spekülatif üretim verimi toplu iş 512'de 1,85 ve 2,10 katına çıktı. Sonuçlar NVIDIA ve Princeton ekibinin kendi donanım ve yazılım koşullarındaki ölçümleridir; yöntem TensorRT-LLM, vLLM ve FlashInfer ile bütünleştirildi.
Veriler
ReplaySSM çözümleme hızlanması
256'lık sunum toplu işinde dört hibrit modelde bildirilen hızlanma aralıklarının uç değerleri.
- · Gerçekleşti
NVIDIA ve Princeton, hibrit model çözümlemesini hızlandıran ReplaySSM'i tanıttı
Dört Nemotron 3 ve Qwen3.5 modeli üzerinde yapılan testlerde toplu iş 256 olduğunda çekirdek çözümleme hızlanması 1,46–1,80 kat, uçtan uca hızlanma 1,20–1,47 kat olarak bildirildi; toplu iş 1'de aynı testlerde hız kazanımı görülmedi. İki 120B sınıfı modelde spekülatif üretim verimi toplu iş 512'de 1,85 ve 2,10 katına çıktı. Sonuçlar NVIDIA ve Princeton ekibinin kendi donanım ve yazılım koşullarındaki ölçümleridir; yöntem TensorRT-LLM, vLLM ve FlashInfer ile bütünleştirildi.
Yöntem
NVIDIA ve Princeton Dao AI Lab'ın 12 Ekim 2026 tarihli yazısındaki, ayarlanmış vLLM çekirdekleriyle karşılaştırmalı dört model sonuçları. İki metriğin her biri kaynakta aralık olarak verilir; burada yalnızca alt ve üst uç ayrı kaydedilmiştir. Testler tek H100 veya B300 GPU üzerinde yürütülmüş, toplu iş 256'dır. Bunlar yazarların donanım ve uygulama koşullarındaki performans sonuçlarıdır.
Güncelleme:
Konular ve yerler
Konu önerileri
- Bilim ve teknolojiÖneri
- Preserved editorial category/topic; broad candidate onlydeveloper.nvidia.com ↗
Coğrafi referanslar
Yalnızca kaynakta bulunan coğrafi referanslar gösterilir. Harici haritayı açmak isteğe bağlıdır. İsteğe bağlı haber haritaları OpenStreetMap kullanır. Haritayı açtığınızda IP adresiniz ve site adresi harita sağlayıcısına iletilir; harita yüklenmeden konum verileri metin olarak okunabilir.
- Amerika Birleşik Devletleri · Yer rolü: Kapsam · Yer türü: Ülke veya bölge · Konum kesinliği: BölgeselKanıt
- Explicit preserved editorial country/region; no city or national centroid inferreddeveloper.nvidia.com ↗