AWS présente ses optimisations de noyaux MoE sur SageMaker
AWS a détaillé le 13 octobre ses optimisations de noyaux GPU pour les modèles à mélange d’experts sur SageMaker AI : permutation des opérandes matriciels, routage FP8 vers Triton et suppression de recompilations à la volée inutiles.
Période de consultation de la source: 2026-10-13
Publié: · Mis à jour:
La source ne précise pas la date de l’événement ; la période indiquée est celle de la consultation de la source.
AWS a détaillé le 13 octobre ses optimisations de noyaux GPU pour les modèles à mélange d’experts sur SageMaker AI : permutation des opérandes matriciels, routage FP8 vers Triton et suppression de recompilations à la volée inutiles.
AWS annonce jusqu’à 10 % de débit de sortie supplémentaire et jusqu’à 9 % de réduction du délai du premier jeton sur GPU H200. Ces mesures internes portent sur des configurations précises, sans garantie pour tous les modèles. Le routage Triton est dans LMI v28 et le correctif de recompilation dans vLLM 0.22.0 et suivants.
Données
AWS présente ses optimisations de noyaux MoE sur SageMaker
AWS présente ses optimisations de noyaux MoE sur SageMaker
- · Survenu
Publication du rapport de recherche
AWS a détaillé le 13 octobre ses optimisations de noyaux GPU pour les modèles à mélange d’experts sur SageMaker AI : permutation des opérandes matriciels, routage FP8 vers Triton et suppression de recompilations à la volée inutiles.
Méthodologie
Les résultats sont attribués à la source, sans mesure indépendante des performances.
Mis à jour:
AWS présente ses optimisations de noyaux MoE sur SageMaker
AWS présente ses optimisations de noyaux MoE sur SageMaker
| Hausse du débit de sortie | 10 |
| Réduction du délai du premier jeton | 9 |
Méthodologie
Améliorations maximales annoncées par AWS pour des configurations MoE précises sur H200. Le correctif du premier jeton a été mesuré en parallélisme tensoriel à huit voies ; les pourcentages ne s’additionnent pas.
Mis à jour:
Sujets et lieux
Sujets proposés
- Intelligence artificielleProposé
- Subject suggested from the title or summary: AIaws.amazon.com ↗
Références géographiques
Seules les références géographiques présentes dans la source sont affichées. L’ouverture d’une carte externe est facultative. Les cartes facultatives utilisent OpenStreetMap. Leur ouverture transmet votre adresse IP et celle de ce site au fournisseur ; les coordonnées restent lisibles sans charger la carte.
- États-Unis · Rôle du lieu: Couverture · Type de lieu: Pays ou territoire · Précision de localisation: RégionaleÉléments probants
- Explicit preserved editorial country/region; no city or national centroid inferredaws.amazon.com ↗