IBM تشرح أساليب الاستدلال الموزع للنماذج اللغوية الكبيرة

شرحت IBM Research الاستدلال الموزع عبر llm-d، وهو إطار مفتوح المصدر وأصلي لـKubernetes ينسق مجموعات من خوادم النماذج اللغوية الكبيرة بدلاً من موازنة كل خادم بمعزل. وتتناول المادة توجيه الطلبات إلى خوادم تحتفظ بالفعل بالمقدمات المشتركة، ونقل ذاكرة KV المؤقتة إلى ذاكرة CPU أو التخزين، وترتيب تدفق الطلبات حسب الأولوية، وضبط مهام الدفعات، وفصل مرحلتي prefill وdecode، وتوزيع مكونات الخبراء في بنية MoE على العقد.

تقول IBM إن إحدى عروض llm-d حققت 97% من إعادة استخدام المقدمات المتاحة في عبء العمل المختبر؛ كما تذكر عروضاً للتوازي الواسع للخبراء مع ذاكرة أقل للأوزان لكل GPU وسعة لذاكرة KV أكبر بثلاث إلى تسع مرات حسب البنية. تعود هذه الأرقام إلى عروض تشير إليها الشركة؛ والمنشور ليس دراسة معيارية مستقلة.