AWS تنشر دليلاً لاستدلال Ray متعدد العقد على EKS
يعرض دليل من AWS بتاريخ 12 أكتوبر إعداد حاوية Ray LLM على EKS يقسم نموذجاً واحداً بين عقدتي GPU، مع تشغيل المعالجة الأولية وتوليد الرموز بشكل منفصل. ويركز المنشور على النشر والإعداد.
فترة مراجعة المصدر: 2026-10-12
نُشر: · آخر تحديث:
لا يحدد المصدر تاريخ الحدث؛ الفترة المعروضة هي فترة مراجعة المصدر.
نشرت AWS شرحاً تقنياً لتشغيل نموذج لغوي كبير واحد عبر عقدتي GPU على Amazon EKS باستخدام حاوية Ray LLM Deep Learning. في المثال، تعالج عقدة مرحلة prefill للمطالبة، بينما تولّد الأخرى الاستجابة رمزاً تلو الآخر في مرحلة decode؛ وتنقل NIXL ذاكرة التخزين المؤقت ذات القيم والمفاتيح عبر EFA.
يستخدم الدليل Ray Serve LLM وإعداد YAML لتجميع برمجيات GPU مختبرة خلف نقطة نهاية واحدة متوافقة مع OpenAI. ويذكر خفض تحميل أوزان Qwen3.5-9B بعد إعادة التشغيل من نحو 145 ثانية إلى نحو ثانيتين؛ وتعتمد هذه القيمة على إعدادات التخزين المؤقت ومثال g6.8xlarge في المنشور. إنه شرح للنشر وليس تقييماً مقارناً مستقلاً.
البيانات
AWS تنشر دليلاً لاستدلال Ray متعدد العقد على EKS
- · حدث
تاريخ نشر المصدر
يعرض دليل من AWS بتاريخ 12 أكتوبر إعداد حاوية Ray LLM على EKS يقسم نموذجاً واحداً بين عقدتي GPU، مع تشغيل المعالجة الأولية وتوليد الرموز بشكل منفصل. ويركز المنشور على النشر والإعداد.
المنهجية
تُنسب الادعاءات والتفاصيل التقنية إلى المصدر الأولي المشار إليه؛ وهذا ليس اختباراً مستقلاً.
آخر تحديث:
الموضوعات والأماكن
اقتراحات الموضوعات
- ذكاء اصطناعيمقترح
- Subject suggested from the title or summary: LLMaws.amazon.com ↗