SlackSwap verbindet Datentransfer und Neuberechnung bei knappem GPU-Speicher
Forschende der UC Merced und der University of Texas at Austin stellten SlackSwap vor, einen Planer für das Training tiefer neuronaler Netze. Bei Überschreitung des Transferbudgets zwischen GPU und Host-Speicher berechnet das Verfahren einige Aktivierungen neu; die berichteten Ergebnisse stammen aus einer Simulation.
Zeitraum der Quellenprüfung: 2026-10-09
Veröffentlicht: · Aktualisiert:
Die Quelle nennt kein Ereignisdatum; angezeigt wird der Zeitraum der Quellenprüfung.
Gespeicherte Zwischenaktivierungen für die Rückpropagation können beim Training neuronaler Netze den GPU-Speicher übersteigen. SlackSwap profiliert einen Trainingsschritt und setzt die Transferzeit, die sich während der Berechnung verbergen lässt, als Budget an: Innerhalb dieses Budgets verschiebt es teuer neu zu erzeugende Aktivierungen und berechnet die übrigen erneut.
In einer ereignisdiskreten Simulation mit Parametern für A100 und PCIe 4.0 behielt SlackSwap bei einem Aktivierungsspeicherbudget von der Hälfte des Spitzenwerts ohne Speicherlimit 96,3 % des idealen Durchsatzes für BERT-Large, 97,6 % für GPT-2 XL und 99,6 % für ein Modell nach Art von Llama-7B. Die Autoren betonen, dass sämtliche Ergebnisse simuliert sind und etwa Speicherfragmentierung nicht modelliert wird; reale GPU-Trainingsmessungen sind es nicht.
Daten
Simulierter Trainingsdurchsatz
Die Ergebnisse stammen aus einer Simulation, nicht von einem physischen GPU-Lauf.
| BERT-Large | 96.3 |
| GPT-2 XL | 97.6 |
| Llama-7B-ähnlich | 99.6 |
Methodik
Die Studie bewertet drei Transformer-Arbeitslasten bei einem Aktivierungsspeicherbudget von 50 % in einer ereignisdiskreten Simulation mit Parametern für A100 und PCIe 4.0.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Vereinigte Staaten · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗