SlackSwap يجمع بين نقل البيانات وإعادة الحساب عند محدودية ذاكرة GPU
قدّم باحثون من جامعة كاليفورنيا في ميرسيد وجامعة تكساس في أوستن نظام SlackSwap لتخطيط تدريب التعلم العميق. ويعيد النظام حساب بعض التنشيطات عند تجاوز ميزانية النقل بين GPU وذاكرة المضيف؛ والنتائج المعلنة محاكاة وليست قياسات عتادية.
فترة مراجعة المصدر: 2026-10-09
نُشر: · آخر تحديث:
لا يحدد المصدر تاريخ الحدث؛ الفترة المعروضة هي فترة مراجعة المصدر.
قد تتجاوز التنشيطات الوسيطة المحفوظة للانتشار العكسي ذاكرة GPU أثناء تدريب الشبكات العصبية. يحدد SlackSwap ميزانية من زمن النقل الذي يمكن إخفاؤه أثناء الحساب، بعد تحليل خطوة تدريب؛ وينقل ضمنها التنشيطات الأعلى كلفة في إعادة البناء ويعيد حساب البقية.
في محاكاة أحداث منفصلة مضبوطة وفق A100 وPCIe 4.0، ومع ميزانية تنشيط تساوي نصف ذروة GPU ذات الذاكرة غير المحدودة، حافظ SlackSwap على 96.3% من المعدل المثالي لنموذج BERT-Large و97.6% لـGPT-2 XL و99.6% لنموذج على نمط Llama-7B. يوضح المؤلفون أن جميع النتائج محاكاة وأن آثاراً مثل تجزئة الذاكرة لم تُنمذج؛ لذا فهي ليست قياسات لتدريب فعلي على GPU.
البيانات
معدل التدريب المحاكى
النتائج ناتجة عن محاكاة وليست تشغيلًا على GPU فعلي.
| BERT-Large | 96.3 |
| GPT-2 XL | 97.6 |
| نموذج على نمط Llama-7B | 99.6 |
المنهجية
تقيّم الدراسة ثلاثة أعباء عمل للمحوّلات عند ميزانية ذاكرة تنشيط قدرها 50% في محاكاة أحداث منفصلة مضبوطة وفق A100 وPCIe 4.0.
آخر تحديث:
الموضوعات والأماكن
اقتراحات الموضوعات
- علوم وتكنولوجيامقترح
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
المراجع الجغرافية
تُعرض المراجع الجغرافية الواردة في المصدر فقط. فتح الخريطة الخارجية اختياري. تستخدم خرائط الأخبار الاختيارية OpenStreetMap. يرسل فتح الخريطة عنوان IP وعنوان هذا الموقع إلى مزود الخرائط؛ وتظل بيانات الموقع مقروءة كنص دون تحميل الخريطة.
- الولايات المتحدة · دور المكان: تغطية · نوع المكان: بلد أو منطقة · دقة الموقع: إقليميالدليل
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗