NVIDIA e Princeton apresentam ReplaySSM para acelerar a descodificação de modelos híbridos
Os investigadores afirmaram que o ReplaySSM, que armazena temporariamente entradas de modelos de espaço de estados, acelerou entre 1,46 e 1,80 vezes os kernels de descodificação em quatro modelos com lote 256.
Período do evento/dos dados: 2026-10-12
Publicado: · Atualizado:
Investigadores da NVIDIA e do Dao AI Lab da Universidade de Princeton apresentaram o ReplaySSM, um método para modelos de linguagem híbridos que armazena temporariamente entradas recentes de modelos de espaço de estados (SSM), em vez de escrever o estado completo na memória a cada passo de token. Representa o estado como um ponto de controlo e um buffer curto de entradas, separando o cálculo de saída das atualizações do estado para simplificar o recuo na descodificação especulativa e limitar a acumulação de erros em leituras de baixa precisão.
Em testes com quatro modelos Nemotron 3 e Qwen3.5 com lote 256, a equipa reportou acelerações de 1,46 a 1,80 vezes nos kernels de descodificação e de 1,20 a 1,47 vezes de ponta a ponta; os mesmos testes não mostraram ganhos com lote 1. Em dois modelos da classe 120B, o rendimento da geração especulativa aumentou 1,85 e 2,10 vezes com lote 512. São resultados da equipa nas suas próprias condições de hardware e software; o método foi integrado no TensorRT-LLM, vLLM e FlashInfer.
Dados
Aceleração da descodificação com ReplaySSM
Limites dos intervalos de aceleração divulgados em quatro modelos híbridos com lote de serviço 256.
- · ocorrido
NVIDIA e Princeton apresentam ReplaySSM para acelerar a descodificação de modelos híbridos
Em testes com quatro modelos Nemotron 3 e Qwen3.5 com lote 256, a equipa reportou acelerações de 1,46 a 1,80 vezes nos kernels de descodificação e de 1,20 a 1,47 vezes de ponta a ponta; os mesmos testes não mostraram ganhos com lote 1. Em dois modelos da classe 120B, o rendimento da geração especulativa aumentou 1,85 e 2,10 vezes com lote 512. São resultados da equipa nas suas próprias condições de hardware e software; o método foi integrado no TensorRT-LLM, vLLM e FlashInfer.
Metodologia
Resultados em quatro modelos divulgados em 12 de outubro de 2026 pela NVIDIA e pelo laboratório Dao AI de Princeton, comparados com kernels vLLM otimizados. Cada medida é apresentada como intervalo na fonte; aqui registam-se apenas os limites inferior e superior. Os testes usaram uma GPU H100 ou B300 com lote 256. São resultados dos autores nas condições de hardware e implementação por eles usadas.
Atualizado:
Temas e lugares
Sugestões de temas
- Ciência e tecnologiaAnotação sugerida
- Preserved editorial category/topic; broad candidate onlydeveloper.nvidia.com ↗
Referências geográficas
São exibidas apenas referências geográficas fornecidas pela fonte. Abrir um mapa externo é opcional. Os mapas opcionais das notícias usam o OpenStreetMap. Ao abrir um mapa, seu endereço IP e o endereço deste site são enviados ao provedor do mapa. Os dados de localização continuam disponíveis em texto sem carregar o mapa.
- Estados Unidos · Função do lugar: Cobertura · Tipo de lugar: país ou área · Precisão da localização: regionalEvidência
- Explicit preserved editorial country/region; no city or national centroid inferreddeveloper.nvidia.com ↗