NVIDIA تعرض استخدام الوكلاء لإعادة كتابة دوال Spark للتنفيذ على GPU
أفادت NVIDIA بأن إعادة كتابة دالة Spark UDF خفضت زمن التنفيذ من 274.55 ساعة إلى 12.78 ساعة في عبء عمل واحد من 600 مليار صف لدى شركة تقنية استهلاكية لم تسمها.
فترة الحدث / البيانات: 2026-10-13
نُشر: · آخر تحديث:
شرحت NVIDIA كيف يمكن للدوال التي يحددها المستخدم (UDF) في Apache Spark أن تجبر خط معالجة GPU على العودة إلى تنفيذ CPU، ما يضيف كلفة نقل البيانات وزمن التشغيل. وتوجّه مهارات cuDF وكلاء البرمجة لاختبار سلوك الدالة وإعادة كتابتها باستخدام Spark SQL أو cuDF أو CUDA مخصص، ثم قياس التكافؤ والأداء. ويذكر المنشور شركة تقنية استهلاكية لم يسمها حولت أكثر من 30 دالة UDF إنتاجية بهذه الطريقة.
في عبء عمل واحد من 600 مليار صف، بلغ زمن التنفيذ المعلن 274.55 ساعة مع UDF قائمة على CPU و12.78 ساعة مع تطبيق cuDF على GPU؛ ووصفت NVIDIA ذلك بأنه تسريع بمقدار 22 مرة. وذكر المنشور 16 تيرابايت من المدخلات و17.4 تيرابايت من المخرجات، لكنه لم يسم العميل ولم يقدم قياساً مستقلاً. تخص النتيجة عبء عمل واحداً ولا تمثل ضمان أداء لكل مهام Spark.
البيانات
زمن تنفيذ دالة UDF المعاد كتابتها في Spark
أزمنة التنفيذ المعلنة باستخدام CPU وGPU لعبء عمل واحد من 600 مليار صف لدى شركة تقنية استهلاكية لم يُذكر اسمها.
- زمن تنفيذ UDF باستخدام CPU
- 274.55 hours
- 2026-10-13 · مرصود
- زمن تنفيذ UDF المعجل بوحدة GPU عبر cuDF
- 12.78 hours
- 2026-10-13 · مرصود
المنهجية
أزمنة تنفيذ مشغل CPU وcuDF/RapidsUDF لدالة إنتاج واحدة، وفق منشور NVIDIA بتاريخ 13 أكتوبر 2026. يصف المصدر عبء عمل من 600 مليار صف و16 تيرابايت من المدخلات؛ وهذا مثال واحد لا يُعمم على جميع مهام Spark.
آخر تحديث:
الموضوعات والأماكن
اقتراحات الموضوعات
- علوم وتكنولوجيامقترح
- Subject suggested from the title or summary: technologydeveloper.nvidia.com ↗