NVIDIA et Princeton présentent ReplaySSM pour accélérer le décodage des modèles hybrides

Des chercheurs de NVIDIA et du laboratoire Dao AI de l’université de Princeton ont présenté ReplaySSM, une méthode pour les modèles de langage hybrides qui met en mémoire tampon les entrées récentes des modèles à espace d’états (SSM) au lieu d’écrire l’état complet en mémoire à chaque jeton. L’état est représenté par un point de contrôle et un court tampon d’entrées, ce qui sépare le calcul de sortie des mises à jour d’état afin de simplifier le retour arrière du décodage spéculatif et de limiter l’accumulation d’erreurs lors de lectures en faible précision.

Dans des tests sur quatre modèles Nemotron 3 et Qwen3.5 avec un lot de 256, l’équipe rapporte une accélération de 1,46 à 1,80 fois des kernels de décodage et de 1,20 à 1,47 fois de bout en bout ; les mêmes tests n’ont montré aucun gain avec un lot de 1. Sur deux modèles de classe 120B, le débit de génération spéculative a été multiplié par 1,85 et 2,10 avec un lot de 512. Ce sont les résultats de l’équipe dans ses propres conditions matérielles et logicielles ; la méthode a été intégrée à TensorRT-LLM, vLLM et FlashInfer.