NVIDIA وبرنستون تقدمان ReplaySSM لتسريع فك ترميز النماذج الهجينة
قال الباحثون إن ReplaySSM، الذي يخزن مدخلات نموذج فضاء الحالة مؤقتاً، جعل نوى فك الترميز أسرع بمقدار 1.46 إلى 1.80 مرة عبر أربعة نماذج عند حجم دفعة 256.
فترة الحدث / البيانات: 2026-10-12
نُشر: · آخر تحديث:
شرح باحثون في NVIDIA ومختبر Dao AI بجامعة برنستون ReplaySSM، وهي طريقة للنماذج اللغوية الهجينة تخزن مدخلات نموذج فضاء الحالة (SSM) الحديثة مؤقتاً بدلاً من كتابة الحالة كاملة إلى الذاكرة عند كل خطوة رمز. وتمثل الحالة بنقطة تحقق ومخزن قصير للمدخلات، ما يفصل حساب المخرجات عن تحديث الحالة ويهدف إلى تبسيط التراجع في فك الترميز الاستدلالي والحد من تراكم أخطاء القراءات منخفضة الدقة.
في اختبارات أربعة نماذج من Nemotron 3 وQwen3.5 عند حجم دفعة 256، أبلغ الفريق عن تسريع لنوى فك الترميز بين 1.46 و1.80 مرة، وتسريع من البداية إلى النهاية بين 1.20 و1.47 مرة؛ ولم تظهر مكاسب عند حجم دفعة واحد في الاختبارات نفسها. وفي نموذجين من فئة 120 ملياراً، زاد معدل الإنتاج الاستدلالي 1.85 و2.10 مرة عند حجم دفعة 512. هذه نتائج الفريق ضمن شروط أجهزته وبرامجه؛ وقد دُمجت الطريقة في TensorRT-LLM وvLLM وFlashInfer.
البيانات
تسريع فك الترميز باستخدام ReplaySSM
حدود نطاقات التسريع المعلنة عبر أربعة نماذج هجينة عند حجم دفعة الخدمة 256.
- · حدث
NVIDIA وبرنستون تقدمان ReplaySSM لتسريع فك ترميز النماذج الهجينة
في اختبارات أربعة نماذج من Nemotron 3 وQwen3.5 عند حجم دفعة 256، أبلغ الفريق عن تسريع لنوى فك الترميز بين 1.46 و1.80 مرة، وتسريع من البداية إلى النهاية بين 1.20 و1.47 مرة؛ ولم تظهر مكاسب عند حجم دفعة واحد في الاختبارات نفسها. وفي نموذجين من فئة 120 ملياراً، زاد معدل الإنتاج الاستدلالي 1.85 و2.10 مرة عند حجم دفعة 512. هذه نتائج الفريق ضمن شروط أجهزته وبرامجه؛ وقد دُمجت الطريقة في TensorRT-LLM وvLLM وFlashInfer.
المنهجية
نتائج أربعة نماذج وردت في منشور NVIDIA ومختبر Dao AI في برنستون بتاريخ 12 أكتوبر 2026، مقارنة بنوى vLLM مضبوطة. يورد المصدر كل مقياس كنطاق؛ وقد سُجل طرفاه الأدنى والأعلى فقط. استخدمت الاختبارات وحدة H100 أو B300 واحدة وحجم دفعة 256. هذه نتائج أداء المؤلفين ضمن شروط الأجهزة والتنفيذ لديهم.
آخر تحديث:
الموضوعات والأماكن
اقتراحات الموضوعات
- علوم وتكنولوجيامقترح
- Preserved editorial category/topic; broad candidate onlydeveloper.nvidia.com ↗
المراجع الجغرافية
تُعرض المراجع الجغرافية الواردة في المصدر فقط. فتح الخريطة الخارجية اختياري. تستخدم خرائط الأخبار الاختيارية OpenStreetMap. يرسل فتح الخريطة عنوان IP وعنوان هذا الموقع إلى مزود الخرائط؛ وتظل بيانات الموقع مقروءة كنص دون تحميل الخريطة.
- الولايات المتحدة · دور المكان: تغطية · نوع المكان: بلد أو منطقة · دقة الموقع: إقليميالدليل
- Explicit preserved editorial country/region; no city or national centroid inferreddeveloper.nvidia.com ↗