# GraphTok traslada al GPU la tokenización de instrucciones largas de IA

> Investigadores del KTH presentaron GraphTok, un sistema que tokeniza solicitudes de modelos de lenguaje grandes en una GPU. En una prueba del frontend Dynamo, una H100 NVL real tokenizó mientras se simulaban las GPU del servicio de fondo.

- URL canónica: https://newsverum.com/es/news/gpu-tokenization-agentic-llm-serving-graphtok-2026
- Publicación: Newsverum
- Sección: Tecnología
- País: Suecia
- Publicado: 2026-10-13T01:40:12+00:00
- Actualizado: 2026-10-13T01:40:12+00:00
- Periodo de revisión de la fuente: 2026-10-09
- Otras ediciones: [Türkçe](https://newsverum.com/tr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [English](https://newsverum.com/en/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [العربية](https://newsverum.com/ar/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Français](https://newsverum.com/fr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Deutsch](https://newsverum.com/de/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Português](https://newsverum.com/pt/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md)

*La fuente no indica la fecha del acontecimiento; el periodo mostrado corresponde a la revisión de la fuente.*

Los agentes de IA vuelven a enviar conversaciones y resultados de herramientas anteriores con cada solicitud. La caché de prefijos puede omitir el cálculo del modelo para texto ya procesado, pero la solicitud completa debe convertirse en identificadores de tokens antes de consultar esa caché. GraphTok realiza este trabajo en una GPU mediante un grafo CUDA y deriva las entradas cortas a la CPU.

En una prueba del frontend Dynamo, mantuvo 518 solicitudes por segundo con tráfico de 121.000 tokens y un objetivo P99 de dos segundos hasta el primer token; gigatoken mantuvo 296 y el tokenizador predeterminado 18,5 solicitudes por segundo. Los trabajadores GPU se simularon y la corrección solo se comprobó en las configuraciones ensayadas; los resultados no son una estimación general de capacidad de servicio.

## Datos

### Comparación del rendimiento del frontend

La prueba de carga usa trabajadores GPU parcialmente simulados.

Metodología: En una prueba del frontend Dynamo con un contexto en caché de 121 000 tokens y un objetivo P99 de 2 segundos hasta el primer token, una H100 NVL real tokenizó mientras se simulaban los trabajadores GPU.

| Número de tokens del contexto | Alcance de la carga sostenida |
|---|---|
| 121000 | 518 solicitudes/s con un objetivo P99 de 2 segundos; trabajadores GPU simulados |

Fuentes: <https://arxiv.org/abs/2610.13325> · Descargar datos: [JSON](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=es&format=json) · [CSV](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=es&format=csv)

## Fuentes

- [arXiv](<https://arxiv.org/abs/2610.13325>) (Fuente comprobada: 2026-10-13; Publicado: 2026-10-09)

---

Cite la URL canónica indicada arriba. [Principios editoriales y correcciones](https://newsverum.com/es/editorial)