{"article":{"annotation":{"article_id":"aws-ray-llm-multinode-inference-eks-2026","available_at":"2026-10-15T22:00:47.764298Z","geography_revision":"ef6ee0010dda5fe7b240fd514749b43e214c57da73222d2e40ec83b276dd0977","id":"ad1dfa5f7bb4d54a3c5a090ec25b13f5860392a0a5d1301039f7c348a6b12962","input_sha256":"0c7d65ed9f7b8a0612e7f043597f6a8ac558119fe44c42f1782a5f81c01131cf","limitations":["Rule-derived subjects are candidates, not verified editorial labels or calibrated model probabilities.","Coverage is distinct from event location. Unknown country/city/coordinates remain absent; no automatic geocoding.","Article geometries keep their stated precision and methodology; reproducing them is not independent coordinate verification."],"method":"controlled-rules-v1","places":[],"rules_sha256":"fb5ad3c27c91cb840f7a0a05f7f64a5cb26ad0374409ff9457f277c7092e22b4","schema_version":1,"subjects":[{"concept_id":"medtop:20001298","confidence":null,"confidence_method":null,"evidence":[{"field":"en.title+en.summary","language":"en","note":"Subject suggested from the title or summary: LLM","source_urls":["https://aws.amazon.com/blogs/machine-learning/run-multi-node-inference-workloads-using-ray-llm-deep-learning-containers/"]}],"method":"controlled-rules-v1","rule_id":"artificial-intelligence","status":"candidate"}],"taxonomy_revision":"1f2db31d811fca07e99b16d402c10e2cc2965c9df1c7b41d9be348b40a24e7fb","taxonomy_version":"IPTC Media Topics 2026-Q2"},"api_url":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026?lang=ar","category":"technology","content":{"key_points":[],"paragraphs":["نشرت AWS شرحاً تقنياً لتشغيل نموذج لغوي كبير واحد عبر عقدتي GPU على Amazon EKS باستخدام حاوية Ray LLM Deep Learning. في المثال، تعالج عقدة مرحلة prefill للمطالبة، بينما تولّد الأخرى الاستجابة رمزاً تلو الآخر في مرحلة decode؛ وتنقل NIXL ذاكرة التخزين المؤقت ذات القيم والمفاتيح عبر EFA.","يستخدم الدليل Ray Serve LLM وإعداد YAML لتجميع برمجيات GPU مختبرة خلف نقطة نهاية واحدة متوافقة مع OpenAI. ويذكر خفض تحميل أوزان Qwen3.5-9B بعد إعادة التشغيل من نحو 145 ثانية إلى نحو ثانيتين؛ وتعتمد هذه القيمة على إعدادات التخزين المؤقت ومثال g6.8xlarge في المنشور. إنه شرح للنشر وليس تقييماً مقارناً مستقلاً."],"sections":[]},"corrections":[],"country":null,"data":{"blocks":[{"description":{"ar":"يعرض دليل من AWS بتاريخ 12 أكتوبر إعداد حاوية Ray LLM على EKS يقسم نموذجاً واحداً بين عقدتي GPU، مع تشغيل المعالجة الأولية وتوليد الرموز بشكل منفصل. ويركز المنشور على النشر والإعداد.","de":"Ein AWS-Leitfaden vom 12. Oktober zeigt eine Ray-LLM-Containerkonfiguration auf EKS, die ein LLM auf zwei GPU-Knoten verteilt und Prefill und Token-Erzeugung trennt. Der Beitrag konzentriert sich auf Bereitstellung und Konfiguration.","en":"An AWS guide dated October 12 demonstrates a Ray LLM container setup on EKS that splits one LLM across two GPU nodes, running prefill and token generation separately. The post focuses on deployment and configuration.","es":"Una guía de AWS del 12 de octubre muestra una configuración del contenedor Ray LLM en EKS que distribuye un LLM entre dos nodos GPU y separa el prellenado de la generación de tokens. El artículo se centra en la implementación y configuración.","fr":"Un guide AWS du 12 octobre présente une configuration de conteneur Ray LLM sur EKS qui répartit un LLM sur deux nœuds GPU, en séparant le préremplissage et la génération des jetons. L’article porte sur le déploiement et la configuration.","pt":"Um guia da AWS de 12 de outubro mostra uma configuração do contêiner Ray LLM no EKS que distribui um LLM entre dois nós GPU e separa o prefill da geração de tokens. O artigo se concentra na implantação e configuração.","tr":"12 Ekim tarihli AWS rehberi, bir LLM’yi EKS üzerinde iki GPU düğümüne ayırarak ön işleme ve token üretimini farklı düğümlerde çalıştıran Ray LLM konteyner örneğini gösteriyor. Yazı kurulum ve yapılandırma adımlarına odaklanıyor."},"id":"reported-event","items":[{"date":"2026-10-12","description":{"ar":"يعرض دليل من AWS بتاريخ 12 أكتوبر إعداد حاوية Ray LLM على EKS يقسم نموذجاً واحداً بين عقدتي GPU، مع تشغيل المعالجة الأولية وتوليد الرموز بشكل منفصل. ويركز المنشور على النشر والإعداد.","de":"Ein AWS-Leitfaden vom 12. Oktober zeigt eine Ray-LLM-Containerkonfiguration auf EKS, die ein LLM auf zwei GPU-Knoten verteilt und Prefill und Token-Erzeugung trennt. Der Beitrag konzentriert sich auf Bereitstellung und Konfiguration.","en":"An AWS guide dated October 12 demonstrates a Ray LLM container setup on EKS that splits one LLM across two GPU nodes, running prefill and token generation separately. The post focuses on deployment and configuration.","es":"Una guía de AWS del 12 de octubre muestra una configuración del contenedor Ray LLM en EKS que distribuye un LLM entre dos nodos GPU y separa el prellenado de la generación de tokens. El artículo se centra en la implementación y configuración.","fr":"Un guide AWS du 12 octobre présente une configuration de conteneur Ray LLM sur EKS qui répartit un LLM sur deux nœuds GPU, en séparant le préremplissage et la génération des jetons. L’article porte sur le déploiement et la configuration.","pt":"Um guia da AWS de 12 de outubro mostra uma configuração do contêiner Ray LLM no EKS que distribui um LLM entre dois nós GPU e separa o prefill da geração de tokens. O artigo se concentra na implantação e configuração.","tr":"12 Ekim tarihli AWS rehberi, bir LLM’yi EKS üzerinde iki GPU düğümüne ayırarak ön işleme ve token üretimini farklı düğümlerde çalıştıran Ray LLM konteyner örneğini gösteriyor. Yazı kurulum ve yapılandırma adımlarına odaklanıyor."},"label":{"ar":"تاريخ نشر المصدر","de":"Veröffentlichungsdatum der Quelle","en":"Source publication date","es":"Fecha de publicación de la fuente","fr":"Date de publication de la source","pt":"Data de publicação da fonte","tr":"Kaynak yayın tarihi"},"status":"occurred"}],"methodology":{"ar":"تُنسب الادعاءات والتفاصيل التقنية إلى المصدر الأولي المشار إليه؛ وهذا ليس اختباراً مستقلاً.","de":"Aussagen und technische Angaben werden der zitierten Primärquelle zugeschrieben; dies ist kein unabhängiger Test.","en":"Claims and technical details are attributed to the cited primary source; this is not independent testing.","es":"Las afirmaciones y los detalles técnicos se atribuyen a la fuente primaria citada; no son pruebas independientes.","fr":"Les affirmations et détails techniques sont attribués à la source primaire citée ; il ne s’agit pas de tests indépendants.","pt":"As afirmações e os detalhes técnicos são atribuídos à fonte primária citada; isto não é um teste independente.","tr":"İddialar ve teknik ayrıntılar atıf yapılan birincil kaynağa dayanmaktadır; bu bağımsız bir test değildir."},"sourceUrls":["https://aws.amazon.com/blogs/machine-learning/run-multi-node-inference-workloads-using-ray-llm-deep-learning-containers/"],"title":{"ar":"AWS تنشر دليلاً لاستدلال Ray متعدد العقد على EKS","de":"AWS veröffentlicht EKS-Leitfaden für Ray-LLM-Inferenz über mehrere Knoten","en":"AWS publishes an EKS guide to multi-node Ray LLM inference","es":"AWS publica una guía de EKS para inferencia Ray LLM multinodo","fr":"AWS publie un guide EKS pour l’inférence Ray LLM multi-nœuds","pt":"AWS publica guia EKS para inferência Ray LLM multinó de","tr":"AWS, Ray ile çok düğümlü LLM çıkarımı için EKS kılavuzu yayımladı"},"type":"events","updatedAt":"2026-10-15T21:44:05+00:00"}],"version":1},"data_downloads":[{"formats":{"csv":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026/data/reported-event?lang=ar&format=csv","json":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026/data/reported-event?lang=ar&format=json"},"id":"reported-event"}],"data_types":["events"],"editorial_illustration":{"alt":"رسم توضيحي مفاهيمي للتكنولوجيا والمعالجات والمعلومات المترابطة.","asset_id":"newsverum-v1-technology","avif_variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.avif","width":480},{"height":480,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-720.avif","width":720},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.avif","width":960},{"height":800,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1200.avif","width":1200},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.avif","width":1536}],"credit":"Newsverum","documentary":false,"height":1024,"kind":"symbolic-editorial-illustration","language":"ar","scope":"topic","url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.webp","width":480},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.webp","width":960},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","width":1536}],"width":1536},"event_id":"event-71fdeb4f-77d1-52ef-a5b0-1431fa4754cc","event_period":"2026-10-12","event_period_basis":"source-review","id":"aws-ray-llm-multinode-inference-eks-2026","image":null,"importance":0.6,"language":"ar","modified_at":"2026-10-15T22:00:39+00:00","publication_basis":"publication-record","published_at":"2026-10-15T22:00:39+00:00","reading_minutes":1,"region":"world","section_illustration":{"alt":"رسم توضيحي مفاهيمي للتكنولوجيا والمعالجات والمعلومات المترابطة.","asset_id":"newsverum-v1-technology","avif_variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.avif","width":480},{"height":480,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-720.avif","width":720},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.avif","width":960},{"height":800,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1200.avif","width":1200},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.avif","width":1536}],"credit":"Newsverum","documentary":false,"height":1024,"kind":"symbolic-editorial-illustration","language":"ar","scope":"section","url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.webp","width":480},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.webp","width":960},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","width":1536}],"width":1536},"slug":"aws-ray-llm-multinode-inference-eks-2026","sources":[{"checkedAt":"2026-10-15","name":"AWS Machine Learning Blog","publishedAt":"2026-10-12","url":"https://aws.amazon.com/blogs/machine-learning/run-multi-node-inference-workloads-using-ray-llm-deep-learning-containers/"}],"summary":"يعرض دليل من AWS بتاريخ 12 أكتوبر إعداد حاوية Ray LLM على EKS يقسم نموذجاً واحداً بين عقدتي GPU، مع تشغيل المعالجة الأولية وتوليد الرموز بشكل منفصل. ويركز المنشور على النشر والإعداد.","text":"يعرض دليل من AWS بتاريخ 12 أكتوبر إعداد حاوية Ray LLM على EKS يقسم نموذجاً واحداً بين عقدتي GPU، مع تشغيل المعالجة الأولية وتوليد الرموز بشكل منفصل. ويركز المنشور على النشر والإعداد.\n\nنشرت AWS شرحاً تقنياً لتشغيل نموذج لغوي كبير واحد عبر عقدتي GPU على Amazon EKS باستخدام حاوية Ray LLM Deep Learning. في المثال، تعالج عقدة مرحلة prefill للمطالبة، بينما تولّد الأخرى الاستجابة رمزاً تلو الآخر في مرحلة decode؛ وتنقل NIXL ذاكرة التخزين المؤقت ذات القيم والمفاتيح عبر EFA.\n\nيستخدم الدليل Ray Serve LLM وإعداد YAML لتجميع برمجيات GPU مختبرة خلف نقطة نهاية واحدة متوافقة مع OpenAI. ويذكر خفض تحميل أوزان Qwen3.5-9B بعد إعادة التشغيل من نحو 145 ثانية إلى نحو ثانيتين؛ وتعتمد هذه القيمة على إعدادات التخزين المؤقت ومثال g6.8xlarge في المنشور. إنه شرح للنشر وليس تقييماً مقارناً مستقلاً.","title":"AWS تنشر دليلاً لاستدلال Ray متعدد العقد على EKS","topics":[],"translations":[{"api_url":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026?lang=tr","language":"tr","url":"https://newsverum.com/tr/news/aws-ray-llm-multinode-inference-eks-2026"},{"api_url":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026?lang=en","language":"en","url":"https://newsverum.com/en/news/aws-ray-llm-multinode-inference-eks-2026"},{"api_url":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026?lang=ar","language":"ar","url":"https://newsverum.com/ar/news/aws-ray-llm-multinode-inference-eks-2026"},{"api_url":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026?lang=fr","language":"fr","url":"https://newsverum.com/fr/news/aws-ray-llm-multinode-inference-eks-2026"},{"api_url":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026?lang=es","language":"es","url":"https://newsverum.com/es/news/aws-ray-llm-multinode-inference-eks-2026"},{"api_url":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026?lang=de","language":"de","url":"https://newsverum.com/de/news/aws-ray-llm-multinode-inference-eks-2026"},{"api_url":"https://newsverum.com/api/v1/articles/aws-ray-llm-multinode-inference-eks-2026?lang=pt","language":"pt","url":"https://newsverum.com/pt/news/aws-ray-llm-multinode-inference-eks-2026"}],"url":"https://newsverum.com/ar/news/aws-ray-llm-multinode-inference-eks-2026"},"version":"1"}