AWS, SageMaker’da MoE çekirdek iyileştirmelerinin sonuçlarını paylaştı
AWS, 13 Ekim’de SageMaker AI üzerinde uzmanlar karışımı modeller için GPU çekirdek iyileştirmelerini ayrıntılandırdı. Şirket; matris işlenenlerinin yerini değiştirme, FP8 işlemlerini Triton arka ucuna yönlendirme ve gereksiz anlık derlemeleri kaldırma yöntemlerini anlattı.
Kaynak inceleme dönemi: 2026-10-13
Yayın: · Güncelleme:
Kaynak olay tarihini belirtmiyor; gösterilen dönem kaynak incelemesinin dönemidir.
AWS, 13 Ekim’de SageMaker AI üzerinde uzmanlar karışımı modeller için GPU çekirdek iyileştirmelerini ayrıntılandırdı. Şirket; matris işlenenlerinin yerini değiştirme, FP8 işlemlerini Triton arka ucuna yönlendirme ve gereksiz anlık derlemeleri kaldırma yöntemlerini anlattı.
AWS, H200 GPU’larda yüzde 10’a kadar daha yüksek çıktı hızı ve ilk belirtece kadar geçen sürede yüzde 9’a kadar azalma bildirdi. Bunlar belirli yapılandırmalardaki şirket ölçümleridir; tüm modellere yönelik garanti değildir. Yazı, Triton yönlendirme değişikliğini LMI v28’e, derleme düzeltmesini vLLM 0.22.0 ve sonrasına bağlıyor.
Veriler
AWS, SageMaker’da MoE çekirdek iyileştirmelerinin sonuçlarını paylaştı
AWS, SageMaker’da MoE çekirdek iyileştirmelerinin sonuçlarını paylaştı
- · Gerçekleşti
Araştırma yazısının yayımlanması
AWS, 13 Ekim’de SageMaker AI üzerinde uzmanlar karışımı modeller için GPU çekirdek iyileştirmelerini ayrıntılandırdı. Şirket; matris işlenenlerinin yerini değiştirme, FP8 işlemlerini Triton arka ucuna yönlendirme ve gereksiz anlık derlemeleri kaldırma yöntemlerini anlattı.
Yöntem
Bildirilen araştırma sonuçları kaynağa atfedilmiştir; bağımsız performans ölçümü yapılmamıştır.
Güncelleme:
AWS, SageMaker’da MoE çekirdek iyileştirmelerinin sonuçlarını paylaştı
AWS, SageMaker’da MoE çekirdek iyileştirmelerinin sonuçlarını paylaştı
| Çıktı hızında artış | 10 |
| İlk belirteç süresinde azalma | 9 |
Yöntem
H200 üzerinde belirli MoE yapılandırmalarında AWS’nin bildirdiği en yüksek iyileşmeler aktarılmıştır. İlk belirteç süresi düzeltmesi sekiz yönlü tensör paralelliğinde ölçülmüştür; yüzdeler toplanmaz.
Güncelleme:
Konular ve yerler
Konu önerileri
- Yapay zekâÖneri
- Subject suggested from the title or summary: AIaws.amazon.com ↗
Coğrafi referanslar
Yalnızca kaynakta bulunan coğrafi referanslar gösterilir. Harici haritayı açmak isteğe bağlıdır. İsteğe bağlı haber haritaları OpenStreetMap kullanır. Haritayı açtığınızda IP adresiniz ve site adresi harita sağlayıcısına iletilir; harita yüklenmeden konum verileri metin olarak okunabilir.
- Amerika Birleşik Devletleri · Yer rolü: Kapsam · Yer türü: Ülke veya bölge · Konum kesinliği: BölgeselKanıt
- Explicit preserved editorial country/region; no city or national centroid inferredaws.amazon.com ↗