SlackSwap, GPU belleği kısıtlı eğitimde aktarım ve yeniden hesaplamayı birleştiriyor
California Üniversitesi Merced ve Texas Üniversitesi Austin araştırmacıları SlackSwap adlı derin öğrenme eğitim planlayıcısını tanıttı. GPU ile ana bellek arasındaki aktarım bütçesini aştığında bazı etkinleştirmeleri yeniden hesaplıyor; bildirilen sonuçlar donanım ölçümü değil benzetim.
Kaynak inceleme dönemi: 2026-10-09
Yayın: · Güncelleme:
Kaynak olay tarihini belirtmiyor; gösterilen dönem kaynak incelemesinin dönemidir.
Derin sinir ağlarının eğitiminde geri yayılım için saklanan ara etkinleştirmeler GPU belleğini aşabiliyor. SlackSwap, bir eğitim adımını profilleyip ana bellek-GPU bağlantısının hesaplama sırasında boş kalabilecek aktarım süresini bütçe olarak kullanıyor; yeniden oluşturması pahalı etkinleştirmeleri bu bütçe içinde taşıyor, geri kalanları yeniden hesaplıyor.
A100 ve PCIe 4.0 için kurulmuş ayrık olay benzetiminde, etkinleştirme belleği bütçesi sınırsız bellekli GPU’nun yarısına indirildiğinde SlackSwap BERT-Large için ideal verimin %96,3’ünü, GPT-2 XL için %97,6’sını ve Llama-7B benzeri model için %99,6’sını korudu. Yazarlar tüm sonuçların benzetim olduğunu ve bellek parçalanması gibi etkilerin modellenmediğini belirtiyor; bunlar gerçek GPU eğitimi ölçümleri değil.
Veriler
Benzetilmiş eğitim verimi
Sonuçlar gerçek GPU çalıştırması değil, benzetimdir.
| BERT-Large | 96.3 |
| GPT-2 XL | 97.6 |
| Llama-7B benzeri | 99.6 |
Yöntem
Çalışma, A100 ve PCIe 4.0 özelliklerini temel alan ayrık olay benzetiminde 50% etkinleştirme belleği bütçesindeki üç Transformer iş yükünü değerlendiriyor.
Güncelleme:
Konular ve yerler
Konu önerileri
- Bilim ve teknolojiÖneri
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Coğrafi referanslar
Yalnızca kaynakta bulunan coğrafi referanslar gösterilir. Harici haritayı açmak isteğe bağlıdır. İsteğe bağlı haber haritaları OpenStreetMap kullanır. Haritayı açtığınızda IP adresiniz ve site adresi harita sağlayıcısına iletilir; harita yüklenmeden konum verileri metin olarak okunabilir.
- Amerika Birleşik Devletleri · Yer rolü: Kapsam · Yer türü: Ülke veya bölge · Konum kesinliği: BölgeselKanıt
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗