AWS presenta resultados de optimización de núcleos MoE en SageMaker
AWS detalló el 13 de octubre optimizaciones de núcleos GPU para modelos de mezcla de expertos en SageMaker AI: intercambio de operandos matriciales, envío de operaciones FP8 a Triton y eliminación de recompilaciones innecesarias en tiempo de ejecución.
Periodo de revisión de la fuente: 2026-10-13
Publicado: · Actualizado:
La fuente no indica la fecha del acontecimiento; el periodo mostrado corresponde a la revisión de la fuente.
AWS detalló el 13 de octubre optimizaciones de núcleos GPU para modelos de mezcla de expertos en SageMaker AI: intercambio de operandos matriciales, envío de operaciones FP8 a Triton y eliminación de recompilaciones innecesarias en tiempo de ejecución.
AWS comunica hasta un 10% más de rendimiento de salida y hasta un 9% menos de tiempo hasta el primer token en GPU H200. Son mediciones de la empresa en configuraciones concretas, sin garantía para todos los modelos. Sitúa el cambio de Triton en LMI v28 y la corrección de recompilación en vLLM 0.22.0 o posterior.
Datos
AWS presenta resultados de optimización de núcleos MoE en SageMaker
AWS presenta resultados de optimización de núcleos MoE en SageMaker
- · Ocurrido
Publicación del informe de investigación
AWS detalló el 13 de octubre optimizaciones de núcleos GPU para modelos de mezcla de expertos en SageMaker AI: intercambio de operandos matriciales, envío de operaciones FP8 a Triton y eliminación de recompilaciones innecesarias en tiempo de ejecución.
Metodología
Los resultados se atribuyen a la fuente; no se midió el rendimiento de forma independiente.
Actualizado:
AWS presenta resultados de optimización de núcleos MoE en SageMaker
AWS presenta resultados de optimización de núcleos MoE en SageMaker
| Aumento del rendimiento de salida | 10 |
| Reducción del tiempo al primer token | 9 |
Metodología
Mejoras máximas comunicadas por AWS para configuraciones MoE concretas en H200. La corrección del primer token se midió con paralelismo tensorial de ocho vías; los porcentajes no se suman.
Actualizado:
Temas y lugares
Propuestas temáticas
- Inteligencia artificialSugerido
- Subject suggested from the title or summary: AIaws.amazon.com ↗
Referencias geográficas
Solo se muestran referencias geográficas proporcionadas por la fuente. Abrir un mapa externo es opcional. Los mapas opcionales usan OpenStreetMap. Al abrirlos se envían tu dirección IP y la de este sitio al proveedor; los datos de ubicación pueden leerse sin cargar el mapa.
- Estados Unidos · Función del lugar: Cobertura · Tipo de lugar: País o área · Precisión de ubicación: RegionalEvidencia
- Explicit preserved editorial country/region; no city or national centroid inferredaws.amazon.com ↗