AWS apresenta resultados de otimização de kernels MoE no SageMaker
A AWS detalhou em 13 de outubro otimizações de kernels GPU para modelos de mistura de especialistas no SageMaker AI: troca de operandos matriciais, encaminhamento de operações FP8 ao Triton e eliminação de recompilações desnecessárias em tempo de execução.
Período de análise da fonte: 2026-10-13
Publicado: · Atualizado:
A fonte não informa a data do evento; o período exibido é o da análise da fonte.
A AWS detalhou em 13 de outubro otimizações de kernels GPU para modelos de mistura de especialistas no SageMaker AI: troca de operandos matriciais, encaminhamento de operações FP8 ao Triton e eliminação de recompilações desnecessárias em tempo de execução.
A AWS informa até 10% mais vazão de saída e até 9% menos tempo até o primeiro token em GPUs H200. São medições da empresa em configurações específicas, sem garantia para todos os modelos. A mudança de roteamento Triton está no LMI v28, e a correção de recompilação no vLLM 0.22.0 ou posterior.
Dados
AWS apresenta resultados de otimização de kernels MoE no SageMaker
AWS apresenta resultados de otimização de kernels MoE no SageMaker
- · ocorrido
Publicação do relatório de pesquisa
A AWS detalhou em 13 de outubro otimizações de kernels GPU para modelos de mistura de especialistas no SageMaker AI: troca de operandos matriciais, encaminhamento de operações FP8 ao Triton e eliminação de recompilações desnecessárias em tempo de execução.
Metodologia
Os resultados são atribuídos à fonte; não houve medição independente de desempenho.
Atualizado:
AWS apresenta resultados de otimização de kernels MoE no SageMaker
AWS apresenta resultados de otimização de kernels MoE no SageMaker
| Aumento da vazão de saída | 10 |
| Redução do tempo até o primeiro token | 9 |
Metodologia
Melhorias máximas informadas pela AWS em configurações MoE específicas no H200. A correção do primeiro token foi medida com paralelismo tensorial de oito vias; os percentuais não são somados.
Atualizado:
Temas e lugares
Sugestões de temas
- Inteligência artificialAnotação sugerida
- Subject suggested from the title or summary: AIaws.amazon.com ↗
Referências geográficas
São exibidas apenas referências geográficas fornecidas pela fonte. Abrir um mapa externo é opcional. Os mapas opcionais das notícias usam o OpenStreetMap. Ao abrir um mapa, seu endereço IP e o endereço deste site são enviados ao provedor do mapa. Os dados de localização continuam disponíveis em texto sem carregar o mapa.
- Estados Unidos · Função do lugar: Cobertura · Tipo de lugar: país ou área · Precisão da localização: regionalEvidência
- Explicit preserved editorial country/region; no city or national centroid inferredaws.amazon.com ↗