NVIDIA describe cómo agentes reescriben UDF de Spark para ejecutarlas en GPU

NVIDIA explicó que las funciones definidas por el usuario (UDF) de Apache Spark pueden obligar a una canalización de GPU a volver a la CPU, lo que añade costes de transferencia de datos y ejecución. Sus habilidades de cuDF guían a agentes de programación para probar el comportamiento de una UDF, reescribirla con Spark SQL, cuDF o CUDA personalizado y medir después equivalencia y rendimiento. La publicación cita a una empresa tecnológica de consumo no identificada que convirtió más de 30 UDF de producción con este flujo.

En una carga de 600.000 millones de filas, el tiempo de operador comunicado fue de 274,55 horas con una UDF basada en CPU y de 12,78 horas con una implementación cuDF en GPU; NVIDIA lo calificó como una aceleración de 22 veces. El artículo especifica 16 TB de entrada y 17,4 TB de salida, pero no identifica al cliente ni aporta una medición independiente. El resultado corresponde a una sola carga y no garantiza el rendimiento de todos los trabajos de Spark.