GraphTok transfere para a GPU a tokenização de pedidos longos de IA
Investigadores do KTH apresentaram o GraphTok, um sistema que tokeniza pedidos de grandes modelos de linguagem numa GPU. Num teste do frontend Dynamo, uma H100 NVL real fez a tokenização, enquanto as GPUs de trabalho do backend foram simuladas.
Período de análise da fonte: 2026-10-09
Publicado: · Atualizado:
A fonte não informa a data do evento; o período exibido é o da análise da fonte.
Os agentes de IA reenviam conversas anteriores e resultados de ferramentas em cada novo pedido. A cache de prefixos pode evitar cálculos do modelo sobre texto já processado, mas o pedido completo ainda tem de ser convertido em identificadores de tokens antes da consulta à cache. O GraphTok executa essa tarefa numa GPU com um grafo CUDA e encaminha entradas curtas para a CPU.
Num teste do frontend Dynamo, sustentou 518 pedidos por segundo para tráfego de 121 mil tokens dentro de uma meta P99 de dois segundos até ao primeiro token; o gigatoken sustentou 296 e o tokenizador predefinido 18,5 pedidos por segundo. Os trabalhadores GPU foram simulados e a correção foi verificada apenas nas configurações testadas; estes resultados não representam uma estimativa geral da capacidade de serviço.
Dados
Comparação do desempenho do frontend
O teste de carga usa trabalhadores de GPU parcialmente simulados.
| 121000 | 518 pedidos/s dentro da meta P99 de 2 segundos; trabalhadores GPU simulados |
Metodologia
Num teste do frontend Dynamo com contexto em cache de 121 mil tokens e meta P99 de 2 segundos até ao primeiro token, uma H100 NVL real fez a tokenização, enquanto os trabalhadores GPU foram simulados.
Atualizado:
Temas e lugares
Sugestões de temas
- Inteligência artificialAnotação sugerida
- Subject suggested from the title or summary: AIarxiv.org ↗
Referências geográficas
São exibidas apenas referências geográficas fornecidas pela fonte. Abrir um mapa externo é opcional. Os mapas opcionais das notícias usam o OpenStreetMap. Ao abrir um mapa, seu endereço IP e o endereço deste site são enviados ao provedor do mapa. Os dados de localização continuam disponíveis em texto sem carregar o mapa.
- Suécia · Função do lugar: Cobertura · Tipo de lugar: país ou área · Precisão da localização: regionalEvidência
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗