NVIDIA décrit la réécriture de fonctions Spark par des agents pour l’exécution GPU

NVIDIA explique que les fonctions définies par l’utilisateur (UDF) dans Apache Spark peuvent forcer un pipeline GPU à revenir à une exécution CPU, ajoutant des coûts de transfert de données et de calcul. Ses compétences cuDF guident les agents de programmation pour tester le comportement d’une UDF, la réécrire en Spark SQL, cuDF ou CUDA personnalisé, puis mesurer l’équivalence et les performances. L’article cite une entreprise technologique grand public non nommée qui a converti plus de 30 UDF en production grâce à ce processus.

Pour une charge de 600 milliards de lignes, le temps opérateur rapporté est de 274,55 heures avec une UDF sur CPU et de 12,78 heures avec une version cuDF sur GPU ; NVIDIA qualifie cela d’accélération par 22. L’article indique 16 To en entrée et 17,4 To en sortie, mais ne nomme pas le client et ne fournit pas de mesure indépendante. Ce résultat concerne une seule charge et ne garantit pas les performances de toutes les tâches Spark.