GraphTok verlagert die Tokenisierung langer KI-Eingaben auf die GPU
Forschende des KTH Royal Institute of Technology stellten GraphTok vor, ein System zur Tokenisierung von Anfragen großer Sprachmodelle auf einer GPU. In einem Dynamo-Frontend-Test tokenisierte eine echte H100 NVL; die GPU-Worker im Backend wurden simuliert.
Zeitraum der Quellenprüfung: 2026-10-09
Veröffentlicht: · Aktualisiert:
Die Quelle nennt kein Ereignisdatum; angezeigt wird der Zeitraum der Quellenprüfung.
KI-Agenten senden frühere Gespräche und Werkzeugausgaben mit jeder neuen Anfrage erneut. Ein Präfix-Cache kann Modellberechnungen für bereits verarbeiteten Text einsparen, doch die gesamte Anfrage muss vor der Cache-Abfrage in Token-IDs umgewandelt werden. GraphTok erledigt dies mit einem CUDA-Graphen auf der GPU und leitet kurze Eingaben an die CPU weiter.
In einem Dynamo-Frontend-Test verarbeitete GraphTok bei 121.000 Token Anfrageverkehr 518 Anfragen pro Sekunde innerhalb eines P99-Ziels von zwei Sekunden bis zum ersten Token; gigatoken erreichte 296 und der Standard-Tokenizer 18,5 Anfragen pro Sekunde. Die GPU-Worker wurden simuliert und die Korrektheit nur für getestete Tokenizer-Konfigurationen geprüft; die Werte sind keine allgemeine Kapazitätsangabe.
Daten
Leistungsvergleich des Frontends
Der Lasttest verwendet teilweise simulierte GPU-Worker.
| 121000 | 518 Anfragen/s beim P99-Ziel von 2 Sekunden; GPU-Worker simuliert |
Methodik
In einem Dynamo-Frontend-Test mit einem zwischengespeicherten Kontext von 121.000 Tokens und einem P99-Ziel von 2 Sekunden für das erste Token tokenisierte eine echte H100 NVL; die GPU-Worker wurden simuliert.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Künstliche IntelligenzVorgeschlagene Kennzeichnung
- Subject suggested from the title or summary: AIarxiv.org ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Schweden · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗