CompileMask accélère plusieurs masques d’attention personnalisés
Des chercheurs de JD.com et de l’Université des postes et télécommunications de Pékin ont conçu CompileMask, un compilateur reliant des masques d’attention flexibles à des noyaux GPU efficaces. Des tests sur Blackwell ont mesuré un débit supérieur à Flex-FA4 pour plusieurs motifs.
Période de consultation de la source: 2026-10-09
Publié: · Mis à jour:
La source ne précise pas la date de l’événement ; la période indiquée est celle de la consultation de la source.
Les charges Transformer utilisent différents masques pour définir quels jetons peuvent se consulter. CompileMask permet de décrire les règles dans un langage organisé en régions; le compilateur déduit à l’avance les intervalles visibles et fournit à l’exécution un descripteur compact au noyau d’attention GPU.
Sur NVIDIA Blackwell à une longueur de séquence de 32 000, l’étude rapporte un débit par rapport à Flex-FA4 multiplié par 1,44 pour HSTU, 2,13 pour un modèle de récompense à invite partagée et 2,87 pour CLEAR. Pour l’attention causale, 85 à 89 % du débit de FA4 natif est conservé. Ces comparaisons portent sur des masques et configurations matériels précis et ne démontrent pas le même gain pour toutes les charges Transformer.
Données
Comparaison des masques d’attention
Charges d’attention mesurées à une longueur de 32 000; les valeurs sont propres à l’étude.
| Attention causale, borne basse | 85 |
| Attention causale, borne haute | 89 |
Méthodologie
Quatre motifs de masque ont été testés sur GPU NVIDIA Blackwell, pour des séquences de 1K à 32K; les accélérations sont relatives à la référence Flex-FA4 de l’article.
Mis à jour:
Sujets et lieux
Sujets proposés
- Service de télécommunicationProposé
- Subject suggested from the title or summary: Telecommunicationsarxiv.org ↗
- Science et technologieProposé
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Références géographiques
Seules les références géographiques présentes dans la source sont affichées. L’ouverture d’une carte externe est facultative. Les cartes facultatives utilisent OpenStreetMap. Leur ouverture transmet votre adresse IP et celle de ce site au fournisseur ; les coordonnées restent lisibles sans charger la carte.
- Chine · Rôle du lieu: Couverture · Type de lieu: Pays ou territoire · Précision de localisation: RégionaleÉléments probants
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗