# CompileMask steigert den Durchsatz bei benutzerdefinierten Transformer-Masken

> Forschende von JD.com und der Beijing University of Posts and Telecommunications entwickelten CompileMask, einen Compiler, der flexible Aufmerksamkeitsmasken mit effizienten GPU-Kernels verbindet. Tests auf Blackwell-GPUs maßen für mehrere Muster einen höheren Durchsatz als mit Flex-FA4.

- Kanonische URL: https://newsverum.com/de/news/compilemask-transformer-attention-masking-2026
- Herausgeber: Newsverum
- Rubrik: Technologie
- Land: China
- Veröffentlicht: 2026-10-13T01:40:12+00:00
- Aktualisiert: 2026-10-13T01:40:12+00:00
- Zeitraum der Quellenprüfung: 2026-10-09
- Weitere Ausgaben: [Türkçe](https://newsverum.com/tr/news/compilemask-transformer-attention-masking-2026.md), [English](https://newsverum.com/en/news/compilemask-transformer-attention-masking-2026.md), [العربية](https://newsverum.com/ar/news/compilemask-transformer-attention-masking-2026.md), [Français](https://newsverum.com/fr/news/compilemask-transformer-attention-masking-2026.md), [Español](https://newsverum.com/es/news/compilemask-transformer-attention-masking-2026.md), [Português](https://newsverum.com/pt/news/compilemask-transformer-attention-masking-2026.md)

*Die Quelle nennt kein Ereignisdatum; der angezeigte Zeitraum entspricht der Quellenprüfung.*

Transformer-Arbeitslasten nutzen unterschiedliche Masken, um festzulegen, welche Tokens einander beachten dürfen. CompileMask beschreibt Regeln in einer regionsbasierten Sprache; der Compiler leitet sichtbare Tokenintervalle vorab ab und übergibt dem GPU-Aufmerksamkeitskernel zur Laufzeit einen kompakten Deskriptor.

Auf NVIDIA Blackwell bei einer Sequenzlänge von 32.000 berichtet die Studie gegenüber Flex-FA4 einen Durchsatz von 1,44-mal für HSTU, 2,13-mal für ein Reward-Modell mit gemeinsamem Prompt und 2,87-mal für CLEAR. Bei kausaler Aufmerksamkeit blieben 85–89 % des nativen FA4-Durchsatzes erhalten. Die Vergleiche gelten für bestimmte Masken und Hardwareeinstellungen und belegen keinen gleichen Gewinn für alle Transformer-Arbeitslasten.

## Daten

### Vergleich von Aufmerksamkeitsmasken

Aufmerksamkeitslasten bei einer Länge von 32.000; die Werte gelten für diese Studie.

Methodik: Vier Maskenmuster wurden auf NVIDIA-Blackwell-GPUs bei Sequenzlängen von 1K bis 32K getestet; die Beschleunigungen beziehen sich auf die Flex-FA4-Referenz der Studie.

| Aufmerksamkeitsmodus | Erhaltener Anteil des nativen FA4-Durchsatzes |
|---|---|
| Kausale Aufmerksamkeit, Untergrenze | 85 |
| Kausale Aufmerksamkeit, Obergrenze | 89 |

Quellen: <https://arxiv.org/abs/2610.13474> · Daten herunterladen: [JSON](https://newsverum.com/api/v1/articles/compilemask-transformer-attention-masking-2026/data/attention-benchmark?lang=de&format=json) · [CSV](https://newsverum.com/api/v1/articles/compilemask-transformer-attention-masking-2026/data/attention-benchmark?lang=de&format=csv)

## Quellen

- [arXiv](<https://arxiv.org/abs/2610.13474>) (Quelle geprüft: 2026-10-13; Veröffentlicht: 2026-10-09)

---

Zitieren Sie die oben angegebene kanonische URL. [Redaktionsstandards und Korrekturen](https://newsverum.com/de/editorial)