GraphTok ينقل ترميز مطالبات الذكاء الاصطناعي الطويلة إلى GPU
قدّم باحثون في المعهد الملكي للتكنولوجيا في ستوكهولم GraphTok، وهو نظام يرمّز طلبات نماذج اللغة الكبيرة على وحدة GPU. وفي تجربة لواجهة Dynamo نفذت H100 NVL حقيقية الترميز، بينما حوكيت وحدات GPU الخلفية.
فترة مراجعة المصدر: 2026-10-09
نُشر: · آخر تحديث:
لا يحدد المصدر تاريخ الحدث؛ الفترة المعروضة هي فترة مراجعة المصدر.
تعيد وكلاء الذكاء الاصطناعي إرسال المحادثة السابقة ومخرجات الأدوات مع كل طلب جديد. وقد تتجاوز ذاكرة البادئة حساب النموذج للنص المعالج سابقاً، لكن يجب تحويل الطلب كاملاً إلى معرّفات رموز قبل فحص الذاكرة. ينفذ GraphTok هذه العملية على GPU باستخدام رسم CUDA، ويوجه المدخلات القصيرة إلى المعالج المركزي.
في تجربة لواجهة Dynamo، حافظ النظام على 518 طلباً في الثانية لحركة من 121 ألف رمز ضمن هدف زمن أول رمز عند المئين 99 قدره ثانيتان؛ وبلغت gigatoken نحو 296، والمرمّز الافتراضي 18.5 طلباً في الثانية. حوكيت وحدات GPU العاملة، ولم يتحقق الباحثون من الصحة إلا في إعدادات الترميز المختبرة؛ لذا لا تمثل النتائج تقديراً عاماً لسعة الخدمة.
البيانات
مقارنة أداء الواجهة الأمامية
يستخدم اختبار الحمل عمال GPU محاكين جزئياً.
| 121000 | 518 طلباً في الثانية ضمن هدف P99 قدره ثانيتان؛ عمال GPU محاكَون |
المنهجية
في تجربة واجهة Dynamo بسياق مخبأ من 121 ألف رمز وهدف زمن أول رمز عند المئين 99 قدره ثانيتان، نفذت H100 NVL حقيقية الترميز بينما حوكيت عمال GPU.
آخر تحديث:
الموضوعات والأماكن
اقتراحات الموضوعات
- ذكاء اصطناعيمقترح
- Subject suggested from the title or summary: AIarxiv.org ↗
المراجع الجغرافية
تُعرض المراجع الجغرافية الواردة في المصدر فقط. فتح الخريطة الخارجية اختياري. تستخدم خرائط الأخبار الاختيارية OpenStreetMap. يرسل فتح الخريطة عنوان IP وعنوان هذا الموقع إلى مزود الخرائط؛ وتظل بيانات الموقع مقروءة كنص دون تحميل الخريطة.
- السويد · دور المكان: تغطية · نوع المكان: بلد أو منطقة · دقة الموقع: إقليميالدليل
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗