NVIDIA descreve agentes a reescrever UDFs do Spark para execução em GPU

A NVIDIA explicou que as funções definidas pelo utilizador (UDFs) no Apache Spark podem obrigar um fluxo de GPU a voltar à execução em CPU, acrescentando custos de transferência de dados e tempo de processamento. As competências cuDF orientam agentes de programação a testar o comportamento de uma UDF, reescrevê-la com Spark SQL, cuDF ou CUDA personalizado e medir depois equivalência e desempenho. O artigo cita uma empresa de tecnologia de consumo não identificada que converteu mais de 30 UDFs de produção com este fluxo.

Numa carga de 600 mil milhões de linhas, o tempo de operador divulgado foi de 274,55 horas com uma UDF baseada em CPU e 12,78 horas com uma implementação cuDF em GPU; a NVIDIA descreveu isto como uma aceleração de 22 vezes. O texto indica 16 TB de entrada e 17,4 TB de saída, mas não identifica o cliente nem apresenta medição independente. O resultado refere-se a uma única carga e não garante o desempenho de todos os trabalhos Spark.