GraphTok traslada al GPU la tokenización de instrucciones largas de IA
Investigadores del KTH presentaron GraphTok, un sistema que tokeniza solicitudes de modelos de lenguaje grandes en una GPU. En una prueba del frontend Dynamo, una H100 NVL real tokenizó mientras se simulaban las GPU del servicio de fondo.
Periodo de revisión de la fuente: 2026-10-09
Publicado: · Actualizado:
La fuente no indica la fecha del acontecimiento; el periodo mostrado corresponde a la revisión de la fuente.
Los agentes de IA vuelven a enviar conversaciones y resultados de herramientas anteriores con cada solicitud. La caché de prefijos puede omitir el cálculo del modelo para texto ya procesado, pero la solicitud completa debe convertirse en identificadores de tokens antes de consultar esa caché. GraphTok realiza este trabajo en una GPU mediante un grafo CUDA y deriva las entradas cortas a la CPU.
En una prueba del frontend Dynamo, mantuvo 518 solicitudes por segundo con tráfico de 121.000 tokens y un objetivo P99 de dos segundos hasta el primer token; gigatoken mantuvo 296 y el tokenizador predeterminado 18,5 solicitudes por segundo. Los trabajadores GPU se simularon y la corrección solo se comprobó en las configuraciones ensayadas; los resultados no son una estimación general de capacidad de servicio.
Datos
Comparación del rendimiento del frontend
La prueba de carga usa trabajadores GPU parcialmente simulados.
| 121000 | 518 solicitudes/s con un objetivo P99 de 2 segundos; trabajadores GPU simulados |
Metodología
En una prueba del frontend Dynamo con un contexto en caché de 121 000 tokens y un objetivo P99 de 2 segundos hasta el primer token, una H100 NVL real tokenizó mientras se simulaban los trabajadores GPU.
Actualizado:
Temas y lugares
Propuestas temáticas
- Inteligencia artificialSugerido
- Subject suggested from the title or summary: AIarxiv.org ↗
Referencias geográficas
Solo se muestran referencias geográficas proporcionadas por la fuente. Abrir un mapa externo es opcional. Los mapas opcionales usan OpenStreetMap. Al abrirlos se envían tu dirección IP y la de este sitio al proveedor; los datos de ubicación pueden leerse sin cargar el mapa.
- Suecia · Función del lugar: Cobertura · Tipo de lugar: País o área · Precisión de ubicación: RegionalEvidencia
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗