# SlackSwap verbindet Datentransfer und Neuberechnung bei knappem GPU-Speicher

> Forschende der UC Merced und der University of Texas at Austin stellten SlackSwap vor, einen Planer für das Training tiefer neuronaler Netze. Bei Überschreitung des Transferbudgets zwischen GPU und Host-Speicher berechnet das Verfahren einige Aktivierungen neu; die berichteten Ergebnisse stammen aus einer Simulation.

- Kanonische URL: https://newsverum.com/de/news/slackswap-activation-memory-gpu-training-2026
- Herausgeber: Newsverum
- Rubrik: Technologie
- Land: Vereinigte Staaten
- Veröffentlicht: 2026-10-13T01:40:12+00:00
- Aktualisiert: 2026-10-13T01:40:12+00:00
- Zeitraum der Quellenprüfung: 2026-10-09
- Weitere Ausgaben: [Türkçe](https://newsverum.com/tr/news/slackswap-activation-memory-gpu-training-2026.md), [English](https://newsverum.com/en/news/slackswap-activation-memory-gpu-training-2026.md), [العربية](https://newsverum.com/ar/news/slackswap-activation-memory-gpu-training-2026.md), [Français](https://newsverum.com/fr/news/slackswap-activation-memory-gpu-training-2026.md), [Español](https://newsverum.com/es/news/slackswap-activation-memory-gpu-training-2026.md), [Português](https://newsverum.com/pt/news/slackswap-activation-memory-gpu-training-2026.md)

*Die Quelle nennt kein Ereignisdatum; der angezeigte Zeitraum entspricht der Quellenprüfung.*

Gespeicherte Zwischenaktivierungen für die Rückpropagation können beim Training neuronaler Netze den GPU-Speicher übersteigen. SlackSwap profiliert einen Trainingsschritt und setzt die Transferzeit, die sich während der Berechnung verbergen lässt, als Budget an: Innerhalb dieses Budgets verschiebt es teuer neu zu erzeugende Aktivierungen und berechnet die übrigen erneut.

In einer ereignisdiskreten Simulation mit Parametern für A100 und PCIe 4.0 behielt SlackSwap bei einem Aktivierungsspeicherbudget von der Hälfte des Spitzenwerts ohne Speicherlimit 96,3 % des idealen Durchsatzes für BERT-Large, 97,6 % für GPT-2 XL und 99,6 % für ein Modell nach Art von Llama-7B. Die Autoren betonen, dass sämtliche Ergebnisse simuliert sind und etwa Speicherfragmentierung nicht modelliert wird; reale GPU-Trainingsmessungen sind es nicht.

## Daten

### Simulierter Trainingsdurchsatz

Die Ergebnisse stammen aus einer Simulation, nicht von einem physischen GPU-Lauf.

Methodik: Die Studie bewertet drei Transformer-Arbeitslasten bei einem Aktivierungsspeicherbudget von 50 % in einer ereignisdiskreten Simulation mit Parametern für A100 und PCIe 4.0.

| Modell | Durchsatz im Verhältnis zum Ideal |
|---|---|
| BERT-Large | 96.3 |
| GPT-2 XL | 97.6 |
| Llama-7B-ähnlich | 99.6 |

Quellen: <https://arxiv.org/abs/2610.13003> · Daten herunterladen: [JSON](https://newsverum.com/api/v1/articles/slackswap-activation-memory-gpu-training-2026/data/simulated-training-throughput?lang=de&format=json) · [CSV](https://newsverum.com/api/v1/articles/slackswap-activation-memory-gpu-training-2026/data/simulated-training-throughput?lang=de&format=csv)

## Quellen

- [arXiv](<https://arxiv.org/abs/2610.13003>) (Quelle geprüft: 2026-10-13; Veröffentlicht: 2026-10-09)

---

Zitieren Sie die oben angegebene kanonische URL. [Redaktionsstandards und Korrekturen](https://newsverum.com/de/editorial)