NVIDIA beschreibt die GPU-Umschreibung von Spark-UDFs durch Agenten

NVIDIA erklärte, dass benutzerdefinierte Funktionen (UDFs) in Apache Spark eine GPU-Pipeline zur CPU-Ausführung zurückzwingen und dadurch Datenübertragung und Laufzeit verteuern können. Die cuDF-Fähigkeiten führen Programmieragenten durch Tests des UDF-Verhaltens, eine Umschreibung mit Spark SQL, cuDF oder kundenspezifischem CUDA sowie anschließende Äquivalenz- und Leistungsmessungen. Der Beitrag nennt ein nicht identifiziertes Verbraucher-Technologieunternehmen, das mit diesem Ablauf mehr als 30 produktive UDFs umstellte.

Bei einer Arbeitslast mit 600 Milliarden Zeilen betrug die gemeldete Operatorlaufzeit 274,55 Stunden mit einer CPU-basierten UDF und 12,78 Stunden mit einer cuDF-GPU-Implementierung; NVIDIA bezeichnete dies als 22-fache Beschleunigung. Der Beitrag nennt 16 TB Eingabe und 17,4 TB Ausgabe, aber weder den Kundennamen noch eine unabhängige Messung. Das Ergebnis betrifft eine einzelne Arbeitslast und ist keine Leistungsgarantie für alle Spark-Aufträge.