# GraphTok transfere para a GPU a tokenização de pedidos longos de IA

> Investigadores do KTH apresentaram o GraphTok, um sistema que tokeniza pedidos de grandes modelos de linguagem numa GPU. Num teste do frontend Dynamo, uma H100 NVL real fez a tokenização, enquanto as GPUs de trabalho do backend foram simuladas.

- URL canônica: https://newsverum.com/pt/news/gpu-tokenization-agentic-llm-serving-graphtok-2026
- Editora: Newsverum
- Seção: Tecnologia
- País: Suécia
- Publicado: 2026-10-13T01:40:12+00:00
- Atualizado: 2026-10-13T01:40:12+00:00
- Período de análise da fonte: 2026-10-09
- Outras edições: [Türkçe](https://newsverum.com/tr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [English](https://newsverum.com/en/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [العربية](https://newsverum.com/ar/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Français](https://newsverum.com/fr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Español](https://newsverum.com/es/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Deutsch](https://newsverum.com/de/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md)

*A fonte não informa a data do evento; o período exibido corresponde à análise da fonte.*

Os agentes de IA reenviam conversas anteriores e resultados de ferramentas em cada novo pedido. A cache de prefixos pode evitar cálculos do modelo sobre texto já processado, mas o pedido completo ainda tem de ser convertido em identificadores de tokens antes da consulta à cache. O GraphTok executa essa tarefa numa GPU com um grafo CUDA e encaminha entradas curtas para a CPU.

Num teste do frontend Dynamo, sustentou 518 pedidos por segundo para tráfego de 121 mil tokens dentro de uma meta P99 de dois segundos até ao primeiro token; o gigatoken sustentou 296 e o tokenizador predefinido 18,5 pedidos por segundo. Os trabalhadores GPU foram simulados e a correção foi verificada apenas nas configurações testadas; estes resultados não representam uma estimativa geral da capacidade de serviço.

## Dados

### Comparação do desempenho do frontend

O teste de carga usa trabalhadores de GPU parcialmente simulados.

Metodologia: Num teste do frontend Dynamo com contexto em cache de 121 mil tokens e meta P99 de 2 segundos até ao primeiro token, uma H100 NVL real fez a tokenização, enquanto os trabalhadores GPU foram simulados.

| Número de tokens de contexto | Âmbito da carga sustentada |
|---|---|
| 121000 | 518 pedidos/s dentro da meta P99 de 2 segundos; trabalhadores GPU simulados |

Fontes: <https://arxiv.org/abs/2610.13325> · Baixar dados: [JSON](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=pt&format=json) · [CSV](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=pt&format=csv)

## Fontes

- [arXiv](<https://arxiv.org/abs/2610.13325>) (Fonte verificada: 2026-10-13; Publicado: 2026-10-09)

---

Use a URL canônica acima para citar este artigo. [Princípios editoriais e correções](https://newsverum.com/pt/editorial)