# GraphTok verlagert die Tokenisierung langer KI-Eingaben auf die GPU

> Forschende des KTH Royal Institute of Technology stellten GraphTok vor, ein System zur Tokenisierung von Anfragen großer Sprachmodelle auf einer GPU. In einem Dynamo-Frontend-Test tokenisierte eine echte H100 NVL; die GPU-Worker im Backend wurden simuliert.

- Kanonische URL: https://newsverum.com/de/news/gpu-tokenization-agentic-llm-serving-graphtok-2026
- Herausgeber: Newsverum
- Rubrik: Technologie
- Land: Schweden
- Veröffentlicht: 2026-10-13T01:40:12+00:00
- Aktualisiert: 2026-10-13T01:40:12+00:00
- Zeitraum der Quellenprüfung: 2026-10-09
- Weitere Ausgaben: [Türkçe](https://newsverum.com/tr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [English](https://newsverum.com/en/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [العربية](https://newsverum.com/ar/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Français](https://newsverum.com/fr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Español](https://newsverum.com/es/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Português](https://newsverum.com/pt/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md)

*Die Quelle nennt kein Ereignisdatum; der angezeigte Zeitraum entspricht der Quellenprüfung.*

KI-Agenten senden frühere Gespräche und Werkzeugausgaben mit jeder neuen Anfrage erneut. Ein Präfix-Cache kann Modellberechnungen für bereits verarbeiteten Text einsparen, doch die gesamte Anfrage muss vor der Cache-Abfrage in Token-IDs umgewandelt werden. GraphTok erledigt dies mit einem CUDA-Graphen auf der GPU und leitet kurze Eingaben an die CPU weiter.

In einem Dynamo-Frontend-Test verarbeitete GraphTok bei 121.000 Token Anfrageverkehr 518 Anfragen pro Sekunde innerhalb eines P99-Ziels von zwei Sekunden bis zum ersten Token; gigatoken erreichte 296 und der Standard-Tokenizer 18,5 Anfragen pro Sekunde. Die GPU-Worker wurden simuliert und die Korrektheit nur für getestete Tokenizer-Konfigurationen geprüft; die Werte sind keine allgemeine Kapazitätsangabe.

## Daten

### Leistungsvergleich des Frontends

Der Lasttest verwendet teilweise simulierte GPU-Worker.

Methodik: In einem Dynamo-Frontend-Test mit einem zwischengespeicherten Kontext von 121.000 Tokens und einem P99-Ziel von 2 Sekunden für das erste Token tokenisierte eine echte H100 NVL; die GPU-Worker wurden simuliert.

| Anzahl der Kontexttokens | Umfang der nachhaltigen Last |
|---|---|
| 121000 | 518 Anfragen/s beim P99-Ziel von 2 Sekunden; GPU-Worker simuliert |

Quellen: <https://arxiv.org/abs/2610.13325> · Daten herunterladen: [JSON](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=de&format=json) · [CSV](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=de&format=csv)

## Quellen

- [arXiv](<https://arxiv.org/abs/2610.13325>) (Quelle geprüft: 2026-10-13; Veröffentlicht: 2026-10-09)

---

Zitieren Sie die oben angegebene kanonische URL. [Redaktionsstandards und Korrekturen](https://newsverum.com/de/editorial)