CompileMask melhora o débito de máscaras de atenção personalizadas
Investigadores da JD.com e da Universidade de Correios e Telecomunicações de Pequim desenvolveram o CompileMask, um compilador que liga máscaras de atenção flexíveis a kernels GPU eficientes. Testes em GPUs Blackwell mediram débito superior ao Flex-FA4 em vários padrões.
Período de análise da fonte: 2026-10-09
Publicado: · Atualizado:
A fonte não informa a data do evento; o período exibido é o da análise da fonte.
As cargas de transformadores usam máscaras diferentes para definir que tokens podem prestar atenção uns aos outros. O CompileMask permite descrever regras numa linguagem baseada em regiões; o compilador calcula antecipadamente os intervalos visíveis e fornece um descritor compacto ao kernel de atenção GPU durante a execução.
Na NVIDIA Blackwell, com comprimento de sequência de 32 mil, o estudo relata débito face ao Flex-FA4 de 1,44 vezes para HSTU, 2,13 para um modelo de recompensa com prompt partilhado e 2,87 para CLEAR. Na atenção causal, manteve 85–89% do débito da FA4 nativa. As comparações abrangem máscaras e configurações de hardware específicas e não demonstram o mesmo ganho em todas as cargas de transformadores.
Dados
Comparação de máscaras de atenção
Cargas de atenção medidas com comprimento de 32 mil; os valores são específicos do estudo.
| Atenção causal, limite inferior | 85 |
| Atenção causal, limite superior | 89 |
Metodologia
Foram testados quatro padrões de máscara em GPUs NVIDIA Blackwell, com sequências de 1K a 32K; os ganhos são relativos à referência Flex-FA4 do artigo.
Atualizado:
Temas e lugares
Sugestões de temas
- Serviços de telecomunicaçõesAnotação sugerida
- Subject suggested from the title or summary: Telecommunicationsarxiv.org ↗
- Ciência e tecnologiaAnotação sugerida
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Referências geográficas
São exibidas apenas referências geográficas fornecidas pela fonte. Abrir um mapa externo é opcional. Os mapas opcionais das notícias usam o OpenStreetMap. Ao abrir um mapa, seu endereço IP e o endereço deste site são enviados ao provedor do mapa. Os dados de localização continuam disponíveis em texto sem carregar o mapa.
- China · Função do lugar: Cobertura · Tipo de lugar: país ou área · Precisão da localização: regionalEvidência
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗