SlackSwap combina transferencias y recomputación con memoria GPU limitada
Investigadores de UC Merced y la Universidad de Texas en Austin presentaron SlackSwap, un planificador para entrenar modelos de aprendizaje profundo. Recalcula algunas activaciones cuando se supera el presupuesto de transferencia entre GPU y memoria del host; los resultados son simulados, no mediciones de hardware.
Periodo de revisión de la fuente: 2026-10-09
Publicado: · Actualizado:
La fuente no indica la fecha del acontecimiento; el periodo mostrado corresponde a la revisión de la fuente.
Las activaciones intermedias guardadas para la retropropagación pueden superar la memoria GPU durante el entrenamiento de redes neuronales. SlackSwap perfila un paso de entrenamiento y usa como presupuesto el tiempo de transferencia que puede ocultarse durante el cálculo: transfiere dentro de ese margen las activaciones más costosas de reconstruir y recalcula las demás.
En una simulación de eventos discretos parametrizada para A100 y PCIe 4.0, con un presupuesto de memoria de activaciones igual a la mitad del pico sin límite, SlackSwap conservó el 96,3 % del rendimiento ideal para BERT-Large, el 97,6 % para GPT-2 XL y el 99,6 % para un modelo tipo Llama-7B. Los autores dicen que todos los resultados son simulados y que no modelan efectos como la fragmentación del asignador; no son mediciones de entrenamiento en GPU física.
Datos
Rendimiento de entrenamiento simulado
Los resultados proceden de una simulación, no de una GPU física.
| BERT-Large | 96.3 |
| GPT-2 XL | 97.6 |
| modelo tipo Llama-7B | 99.6 |
Metodología
El estudio evalúa tres cargas Transformer con un presupuesto de memoria de activaciones del 50 % en una simulación de eventos discretos parametrizada para una A100 y PCIe 4.0.
Actualizado:
Temas y lugares
Propuestas temáticas
- Ciencia y tecnologíaSugerido
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Referencias geográficas
Solo se muestran referencias geográficas proporcionadas por la fuente. Abrir un mapa externo es opcional. Los mapas opcionales usan OpenStreetMap. Al abrirlos se envían tu dirección IP y la de este sitio al proveedor; los datos de ubicación pueden leerse sin cargar el mapa.
- Estados Unidos · Función del lugar: Cobertura · Tipo de lugar: País o área · Precisión de ubicación: RegionalEvidencia
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗