SlackSwap combina transferências e recálculo quando a memória da GPU é limitada
Investigadores da UC Merced e da Universidade do Texas em Austin apresentaram o SlackSwap, um planeador para treino de aprendizagem profunda. O sistema recalcula algumas ativações quando excede o orçamento de transferência entre a GPU e a memória do anfitrião; os resultados são de simulação, não medições de hardware.
Período de análise da fonte: 2026-10-09
Publicado: · Atualizado:
A fonte não informa a data do evento; o período exibido é o da análise da fonte.
As ativações intermédias guardadas para a retropropagação podem exceder a memória da GPU durante o treino de redes neuronais. O SlackSwap analisa um passo de treino e usa como orçamento o tempo de transferência que pode ficar oculto durante o cálculo: transfere nesse limite as ativações mais dispendiosas de reconstruir e recalcula as restantes.
Numa simulação de eventos discretos parametrizada para A100 e PCIe 4.0, com orçamento de memória de ativações igual a metade do pico sem limite, o SlackSwap manteve 96,3% do débito ideal para BERT-Large, 97,6% para GPT-2 XL e 99,6% para um modelo do tipo Llama-7B. Os autores afirmam que todos os resultados são simulados e que efeitos como a fragmentação do alocador não foram modelados; não são medições de treino numa GPU física.
Dados
Débito de treino simulado
Os resultados são de simulação, não de uma execução numa GPU física.
| BERT-Large | 96.3 |
| GPT-2 XL | 97.6 |
| modelo do tipo Llama-7B | 99.6 |
Metodologia
O estudo avalia três cargas Transformer com um orçamento de memória de ativações de 50% numa simulação de eventos discretos parametrizada para A100 e PCIe 4.0.
Atualizado:
Temas e lugares
Sugestões de temas
- Ciência e tecnologiaAnotação sugerida
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Referências geográficas
São exibidas apenas referências geográficas fornecidas pela fonte. Abrir um mapa externo é opcional. Os mapas opcionais das notícias usam o OpenStreetMap. Ao abrir um mapa, seu endereço IP e o endereço deste site são enviados ao provedor do mapa. Os dados de localização continuam disponíveis em texto sem carregar o mapa.
- Estados Unidos · Função do lugar: Cobertura · Tipo de lugar: país ou área · Precisão da localização: regionalEvidência
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗