SlackSwap combine transferts et recalcul lorsque la mémoire GPU est limitée
Des chercheurs de l’UC Merced et de l’Université du Texas à Austin ont présenté SlackSwap, un planificateur d’entraînement en apprentissage profond. Il recalcule certaines activations lorsque le budget de transfert entre GPU et mémoire hôte est dépassé; les résultats sont simulés et non mesurés sur matériel.
Période de consultation de la source: 2026-10-09
Publié: · Mis à jour:
La source ne précise pas la date de l’événement ; la période indiquée est celle de la consultation de la source.
Les activations intermédiaires conservées pour la rétropropagation peuvent dépasser la mémoire GPU pendant l’entraînement d’un réseau neuronal. SlackSwap profile une étape et utilise comme budget le temps de transfert pouvant être masqué par le calcul: il transfère dans ce budget les activations coûteuses à reconstruire et recalcule les autres.
Dans une simulation à événements discrets paramétrée pour un A100 et PCIe 4.0, avec un budget mémoire d’activations égal à la moitié du pic sans limite, SlackSwap conserve 96,3 % du débit idéal pour BERT-Large, 97,6 % pour GPT-2 XL et 99,6 % pour un modèle de type Llama-7B. Les auteurs précisent que tous les résultats sont simulés et que des effets comme la fragmentation de l’allocateur ne sont pas modélisés; ce ne sont pas des mesures d’entraînement sur GPU réel.
Données
Débit d’entraînement simulé
Les résultats proviennent d’une simulation, pas d’un GPU physique.
| BERT-Large | 96.3 |
| GPT-2 XL | 97.6 |
| modèle de type Llama-7B | 99.6 |
Méthodologie
L’étude évalue trois charges Transformer avec un budget mémoire d’activations de 50 % dans une simulation à événements discrets paramétrée pour un A100 et PCIe 4.0.
Mis à jour:
Sujets et lieux
Sujets proposés
- Science et technologieProposé
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Références géographiques
Seules les références géographiques présentes dans la source sont affichées. L’ouverture d’une carte externe est facultative. Les cartes facultatives utilisent OpenStreetMap. Leur ouverture transmet votre adresse IP et celle de ce site au fournisseur ; les coordonnées restent lisibles sans charger la carte.
- États-Unis · Rôle du lieu: Couverture · Type de lieu: Pays ou territoire · Précision de localisation: RégionaleÉléments probants
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗