NVIDIA, ajanların Spark UDF'lerini GPU koduna dönüştürme örneğini paylaştı
NVIDIA, anonim bir tüketici teknolojisi şirketinde 600 milyar satırlı bir iş yükü için Spark UDF'sinin operatör süresinin 274,55 saatten 12,78 saate indiğini bildirdi.
Olay / veri dönemi: 2026-10-13
Yayın: · Güncelleme:
NVIDIA, Apache Spark'taki kullanıcı tanımlı işlevlerin (UDF) GPU'dan CPU'ya geçişe neden olabildiğini ve bunun veri aktarımı ile yürütme maliyeti yarattığını anlattı. Şirketin cuDF becerileri, kodlama ajanlarını UDF davranışını test etmeye, Spark SQL, cuDF ya da özel CUDA ile yeniden yazmaya, ardından eşdeğerliği ve performansı ölçmeye yönlendiriyor. Makale, üretim hatlarında kullanılan 30'dan fazla UDF'nin bu yöntemle dönüştürüldüğünü söyleyen adı açıklanmayan bir tüketici teknolojisi şirketinden örnek veriyor.
Örneklerden birinde 600 milyar satırlı bir iş yükünde operatör süresi CPU tabanlı UDF için 274,55 saat, cuDF ile GPU uygulaması için 12,78 saat olarak bildirildi; NVIDIA bunu 22 kat hızlanma olarak nitelendirdi. Yazı 16 TB girdi ve 17,4 TB çıktı belirtiyor, ancak müşteri adı ve bağımsız ölçüm sunmuyor. Bu sonuç tek iş yüküne aittir; bütün Spark görevleri için performans vaadi değildir.
Veriler
Spark UDF yeniden yazımında işlemci süresi
Bir anonim tüketici teknoloji şirketinin 600 milyar satırlı iş yükünde bildirilen CPU ve GPU uygulama süreleri.
- CPU tabanlı UDF operatör süresi
- 274,55 hours
- 2026-10-13 · Gözlem
- cuDF ile GPU hızlandırmalı UDF operatör süresi
- 12,78 hours
- 2026-10-13 · Gözlem
Yöntem
NVIDIA'nın 13 Ekim 2026 tarihli yazısında tek bir üretim UDF'si için verilen CPU ve cuDF/RapidsUDF operatör süreleri. Kaynak iş yükünü 600 milyar satır ve 16 TB girdi olarak tanımlar; sonuç tek bir örnektir, tüm Spark işlerine genellenemez.
Güncelleme:
Konular ve yerler
Konu önerileri
- Bilim ve teknolojiÖneri
- Subject suggested from the title or summary: technologydeveloper.nvidia.com ↗