CompileMask steigert den Durchsatz bei benutzerdefinierten Transformer-Masken
Forschende von JD.com und der Beijing University of Posts and Telecommunications entwickelten CompileMask, einen Compiler, der flexible Aufmerksamkeitsmasken mit effizienten GPU-Kernels verbindet. Tests auf Blackwell-GPUs maßen für mehrere Muster einen höheren Durchsatz als mit Flex-FA4.
Zeitraum der Quellenprüfung: 2026-10-09
Veröffentlicht: · Aktualisiert:
Die Quelle nennt kein Ereignisdatum; angezeigt wird der Zeitraum der Quellenprüfung.
Transformer-Arbeitslasten nutzen unterschiedliche Masken, um festzulegen, welche Tokens einander beachten dürfen. CompileMask beschreibt Regeln in einer regionsbasierten Sprache; der Compiler leitet sichtbare Tokenintervalle vorab ab und übergibt dem GPU-Aufmerksamkeitskernel zur Laufzeit einen kompakten Deskriptor.
Auf NVIDIA Blackwell bei einer Sequenzlänge von 32.000 berichtet die Studie gegenüber Flex-FA4 einen Durchsatz von 1,44-mal für HSTU, 2,13-mal für ein Reward-Modell mit gemeinsamem Prompt und 2,87-mal für CLEAR. Bei kausaler Aufmerksamkeit blieben 85–89 % des nativen FA4-Durchsatzes erhalten. Die Vergleiche gelten für bestimmte Masken und Hardwareeinstellungen und belegen keinen gleichen Gewinn für alle Transformer-Arbeitslasten.
Daten
Vergleich von Aufmerksamkeitsmasken
Aufmerksamkeitslasten bei einer Länge von 32.000; die Werte gelten für diese Studie.
| Kausale Aufmerksamkeit, Untergrenze | 85 |
| Kausale Aufmerksamkeit, Obergrenze | 89 |
Methodik
Vier Maskenmuster wurden auf NVIDIA-Blackwell-GPUs bei Sequenzlängen von 1K bis 32K getestet; die Beschleunigungen beziehen sich auf die Flex-FA4-Referenz der Studie.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Telekommunikation ServiceVorgeschlagene Kennzeichnung
- Subject suggested from the title or summary: Telecommunicationsarxiv.org ↗
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- China · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗