AWS, Ray ile çok düğümlü LLM çıkarımı için EKS kılavuzu yayımladı
12 Ekim tarihli AWS rehberi, bir LLM’yi EKS üzerinde iki GPU düğümüne ayırarak ön işleme ve token üretimini farklı düğümlerde çalıştıran Ray LLM konteyner örneğini gösteriyor. Yazı kurulum ve yapılandırma adımlarına odaklanıyor.
Kaynak inceleme dönemi: 2026-10-12
Yayın: · Güncelleme:
Kaynak olay tarihini belirtmiyor; gösterilen dönem kaynak incelemesinin dönemidir.
AWS, Ray LLM Deep Learning Container kullanarak Amazon EKS üzerinde iki GPU düğümünde tek bir büyük dil modeli sunmaya yönelik teknik bir uygulama yayımladı. Örnekte bir düğüm istemi işleyen prefill aşamasını, diğeri yanıtı token token üreten decode aşamasını yürütüyor; NIXL anahtar-değer önbelleğini EFA üzerinden taşıyor.
Rehber, test edilmiş GPU yazılım yığını ve OpenAI uyumlu tek uç nokta için Ray Serve LLM ile YAML yapılandırması kullanıyor. Örnek Qwen3.5-9B model ağırlıklarının yeniden başlatma sonrası yüklenmesini yaklaşık 145 saniyeden yaklaşık 2 saniyeye düşürdüğünü bildiriyor; bu değer, sayfadaki önbellek ayarları ve g6.8xlarge örneğine bağlıdır. Yazı kurulum rehberidir, bağımsız karşılaştırmalı değerlendirme değildir.
Veriler
AWS, Ray ile çok düğümlü LLM çıkarımı için EKS kılavuzu yayımladı
- · Gerçekleşti
Kaynak yayın tarihi
12 Ekim tarihli AWS rehberi, bir LLM’yi EKS üzerinde iki GPU düğümüne ayırarak ön işleme ve token üretimini farklı düğümlerde çalıştıran Ray LLM konteyner örneğini gösteriyor. Yazı kurulum ve yapılandırma adımlarına odaklanıyor.
Yöntem
İddialar ve teknik ayrıntılar atıf yapılan birincil kaynağa dayanmaktadır; bu bağımsız bir test değildir.
Güncelleme:
Konular ve yerler
Konu önerileri
- Yapay zekâÖneri
- Subject suggested from the title or summary: LLMaws.amazon.com ↗