CompileMask mejora el rendimiento de máscaras personalizadas de atención
Investigadores de JD.com y la Universidad de Correos y Telecomunicaciones de Pekín desarrollaron CompileMask, un compilador que conecta máscaras de atención flexibles con núcleos GPU eficientes. Las pruebas en GPU Blackwell midieron más rendimiento que Flex-FA4 en varios patrones.
Periodo de revisión de la fuente: 2026-10-09
Publicado: · Actualizado:
La fuente no indica la fecha del acontecimiento; el periodo mostrado corresponde a la revisión de la fuente.
Las cargas de los transformadores usan distintas máscaras para definir qué tokens pueden atenderse entre sí. CompileMask permite describir las reglas en un lenguaje basado en regiones; el compilador deduce de antemano los intervalos visibles y proporciona un descriptor compacto al núcleo de atención GPU durante la ejecución.
En NVIDIA Blackwell y con longitud de secuencia 32.000, el estudio comunica un rendimiento frente a Flex-FA4 de 1,44 veces para HSTU, 2,13 para un modelo de recompensa con prefijo compartido y 2,87 para CLEAR. En atención causal conservó el 85–89 % del rendimiento de FA4 nativo. Las comparaciones se limitan a máscaras y hardware concretos y no prueban la misma mejora para todas las cargas de transformadores.
Datos
Comparación de máscaras de atención
Cargas de atención medidas con longitud 32.000; los valores son específicos del estudio.
| Atención causal, límite inferior | 85 |
| Atención causal, límite superior | 89 |
Metodología
Se probaron cuatro patrones de máscara en GPU NVIDIA Blackwell, con secuencias de 1K a 32K; las aceleraciones se comparan con la referencia Flex-FA4 del artículo.
Actualizado:
Temas y lugares
Propuestas temáticas
- Servicio de telecomunicacionesSugerido
- Subject suggested from the title or summary: Telecommunicationsarxiv.org ↗
- Ciencia y tecnologíaSugerido
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Referencias geográficas
Solo se muestran referencias geográficas proporcionadas por la fuente. Abrir un mapa externo es opcional. Los mapas opcionales usan OpenStreetMap. Al abrirlos se envían tu dirección IP y la de este sitio al proveedor; los datos de ubicación pueden leerse sin cargar el mapa.
- China · Función del lugar: Cobertura · Tipo de lugar: País o área · Precisión de ubicación: RegionalEvidencia
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗