Ember verschiebt Daten, wenn Arbeitslasten den GPU-Speicher übersteigen
Forschende der Technischen Universität München entwickelten Ember, eine Speicherverwaltung, die verfolgt, welche Daten bei vollem GPU-Speicher auf der GPU bleiben sollten. Bei den datenintensiven Arbeitslasten der Studie erzielte das System höhere Werte als das standardmäßige Unified Virtual Memory auf drei NVIDIA-GPUs.
Zeitraum der Quellenprüfung: 2026-10-09
Veröffentlicht: · Aktualisiert:
Die Quelle nennt kein Ereignisdatum; angezeigt wird der Zeitraum der Quellenprüfung.
Anwendungen, die den GPU-Speicher überschreiten, müssen Daten zwischen Host- und Gerätespeicher verschieben. Die übliche Seitenmigration kann langsamer werden, wenn sie wiederholt Daten verschiebt, die für die aktuelle Arbeitslast wenig nützen. Die adaptive Ember-Variante ordnet Bereiche standardmäßig dem Host-Speicher zu, befördert häufig genutzte Bereiche anhand von GPU-Hardwarezählern in den Gerätespeicher und gibt weniger aktive Bereiche frei, bevor dieser voll ist.
Bei etwa 1,5-facher Speicherüberbelegung berichten die Autoren für die statische Ember-Variante über sechs datenintensive Anwendungen geometrische mittlere Beschleunigungsfaktoren gegenüber Standard-UVM von 9,12 auf RTX 5080, 6,83 auf A40 und 10,62 auf H200. Sie testeten außerdem Qwen2.5 14B und Qwen3 32B auf GPUs mit 16 GiB Speichergrenze. Die Ergebnisse gelten für die genannten Geräte und Arbeitslasten und sind keine allgemeine Leistungsgarantie für den Produktiveinsatz. Einige UVM-Baseline-Läufe erreichten die Grenze von 1.800 Sekunden; die betroffenen Beschleunigungen sind daher Untergrenzen.
Daten
Ergebnisse der GPU-Speichertests
Die Beschleunigungen gelten nur für die im Beitrag genannten GPUs und Arbeitslasten.
| 3 | 6 | Geometrisches Mittel der Beschleunigung: statisches Ember / Standard-UVM |
Methodik
Die Werte sind geometrische Mittel der Beschleunigung der statischen Ember-Variante gegenüber Standard-UVM über sechs Anwendungen, gemessen auf drei GPUs bei etwa 1,5-facher Speicherüberbelegung. Einige UVM-Baseline-Läufe erreichten die Grenze von 1.800 Sekunden; die betroffenen Beschleunigungen sind daher Untergrenzen.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Deutschland · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗