# AWS, Ray ile çok düğümlü LLM çıkarımı için EKS kılavuzu yayımladı

> 12 Ekim tarihli AWS rehberi, bir LLM’yi EKS üzerinde iki GPU düğümüne ayırarak ön işleme ve token üretimini farklı düğümlerde çalıştıran Ray LLM konteyner örneğini gösteriyor. Yazı kurulum ve yapılandırma adımlarına odaklanıyor.

- Kalıcı adres: https://newsverum.com/tr/news/aws-ray-llm-multinode-inference-eks-2026
- Yayıncı: Newsverum
- Bölüm: Teknoloji
- Yayın: 2026-10-15T22:00:39+00:00
- Güncelleme: 2026-10-15T22:00:39+00:00
- Kaynak inceleme dönemi: 2026-10-12
- Diğer sürümler: [English](https://newsverum.com/en/news/aws-ray-llm-multinode-inference-eks-2026.md), [العربية](https://newsverum.com/ar/news/aws-ray-llm-multinode-inference-eks-2026.md), [Français](https://newsverum.com/fr/news/aws-ray-llm-multinode-inference-eks-2026.md), [Español](https://newsverum.com/es/news/aws-ray-llm-multinode-inference-eks-2026.md), [Deutsch](https://newsverum.com/de/news/aws-ray-llm-multinode-inference-eks-2026.md), [Português](https://newsverum.com/pt/news/aws-ray-llm-multinode-inference-eks-2026.md)

*Kaynak olay tarihini belirtmiyor; gösterilen dönem kaynak incelemesinin dönemidir.*

AWS, Ray LLM Deep Learning Container kullanarak Amazon EKS üzerinde iki GPU düğümünde tek bir büyük dil modeli sunmaya yönelik teknik bir uygulama yayımladı. Örnekte bir düğüm istemi işleyen prefill aşamasını, diğeri yanıtı token token üreten decode aşamasını yürütüyor; NIXL anahtar-değer önbelleğini EFA üzerinden taşıyor.

Rehber, test edilmiş GPU yazılım yığını ve OpenAI uyumlu tek uç nokta için Ray Serve LLM ile YAML yapılandırması kullanıyor. Örnek Qwen3.5-9B model ağırlıklarının yeniden başlatma sonrası yüklenmesini yaklaşık 145 saniyeden yaklaşık 2 saniyeye düşürdüğünü bildiriyor; bu değer, sayfadaki önbellek ayarları ve g6.8xlarge örneğine bağlıdır. Yazı kurulum rehberidir, bağımsız karşılaştırmalı değerlendirme değildir.

## Veriler

### AWS, Ray ile çok düğümlü LLM çıkarımı için EKS kılavuzu yayımladı

Yöntem: İddialar ve teknik ayrıntılar atıf yapılan birincil kaynağa dayanmaktadır; bu bağımsız bir test değildir.

| date | label | description | status |
|---|---|---|---|
| 2026-10-12 | Kaynak yayın tarihi | 12 Ekim tarihli AWS rehberi, bir LLM’yi EKS üzerinde iki GPU düğümüne ayırarak ön işleme ve token üretimini farklı düğümlerde çalıştıran Ray LLM konteyner örneğini gösteriyor. Yazı kurulum ve yapılandırma adımlarına odaklanıyor. | occurred |

Kaynaklar: <https://aws.amazon.com/blogs/machine-learning/run-multi-node-inference-workloads-using-ray-llm-deep-learning-containers/> · Veriyi indir: [JSON](https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026/data/reported-event?lang=tr&format=json) · [CSV](https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026/data/reported-event?lang=tr&format=csv)

## Kaynaklar

- [AWS Machine Learning Blog](<https://aws.amazon.com/blogs/machine-learning/run-multi-node-inference-workloads-using-ray-llm-deep-learning-containers/>) (Kaynak kontrolü: 2026-10-15; Yayın: 2026-10-12)

---

Alıntı için yukarıdaki kalıcı adresi kullanın. [Yayın ilkeleri ve düzeltmeler](https://newsverum.com/tr/editorial)