# CompileMask accélère plusieurs masques d’attention personnalisés

> Des chercheurs de JD.com et de l’Université des postes et télécommunications de Pékin ont conçu CompileMask, un compilateur reliant des masques d’attention flexibles à des noyaux GPU efficaces. Des tests sur Blackwell ont mesuré un débit supérieur à Flex-FA4 pour plusieurs motifs.

- URL canonique: https://newsverum.com/fr/news/compilemask-transformer-attention-masking-2026
- Éditeur: Newsverum
- Rubrique: Technologie
- Pays: Chine
- Publié: 2026-10-13T01:40:12+00:00
- Mis à jour: 2026-10-13T01:40:12+00:00
- Période de consultation de la source: 2026-10-09
- Autres éditions: [Türkçe](https://newsverum.com/tr/news/compilemask-transformer-attention-masking-2026.md), [English](https://newsverum.com/en/news/compilemask-transformer-attention-masking-2026.md), [العربية](https://newsverum.com/ar/news/compilemask-transformer-attention-masking-2026.md), [Español](https://newsverum.com/es/news/compilemask-transformer-attention-masking-2026.md), [Deutsch](https://newsverum.com/de/news/compilemask-transformer-attention-masking-2026.md), [Português](https://newsverum.com/pt/news/compilemask-transformer-attention-masking-2026.md)

*La source ne précise pas la date de l’événement ; la période indiquée est celle de la consultation de la source.*

Les charges Transformer utilisent différents masques pour définir quels jetons peuvent se consulter. CompileMask permet de décrire les règles dans un langage organisé en régions; le compilateur déduit à l’avance les intervalles visibles et fournit à l’exécution un descripteur compact au noyau d’attention GPU.

Sur NVIDIA Blackwell à une longueur de séquence de 32 000, l’étude rapporte un débit par rapport à Flex-FA4 multiplié par 1,44 pour HSTU, 2,13 pour un modèle de récompense à invite partagée et 2,87 pour CLEAR. Pour l’attention causale, 85 à 89 % du débit de FA4 natif est conservé. Ces comparaisons portent sur des masques et configurations matériels précis et ne démontrent pas le même gain pour toutes les charges Transformer.

## Données

### Comparaison des masques d’attention

Charges d’attention mesurées à une longueur de 32 000; les valeurs sont propres à l’étude.

Méthodologie: Quatre motifs de masque ont été testés sur GPU NVIDIA Blackwell, pour des séquences de 1K à 32K; les accélérations sont relatives à la référence Flex-FA4 de l’article.

| Type d’attention | Part du débit FA4 natif conservée |
|---|---|
| Attention causale, borne basse | 85 |
| Attention causale, borne haute | 89 |

Sources: <https://arxiv.org/abs/2610.13474> · Télécharger les données: [JSON](https://newsverum.com/api/v1/articles/compilemask-transformer-attention-masking-2026/data/attention-benchmark?lang=fr&format=json) · [CSV](https://newsverum.com/api/v1/articles/compilemask-transformer-attention-masking-2026/data/attention-benchmark?lang=fr&format=csv)

## Sources

- [arXiv](<https://arxiv.org/abs/2610.13474>) (Source vérifiée: 2026-10-13; Publié: 2026-10-09)

---

Citez l’URL canonique ci-dessus. [Principes éditoriaux et corrections](https://newsverum.com/fr/editorial)