GraphTok transfère le traitement des longues requêtes IA vers le GPU
Des chercheurs de KTH ont présenté GraphTok, un système qui tokenise les requêtes de grands modèles de langue sur GPU. Dans un test du frontal Dynamo, un H100 NVL réel effectuait la tokenisation tandis que les GPU du service en arrière-plan étaient simulés.
Période de consultation de la source: 2026-10-09
Publié: · Mis à jour:
La source ne précise pas la date de l’événement ; la période indiquée est celle de la consultation de la source.
Les agents d’IA renvoient les échanges précédents et les résultats des outils avec chaque nouvelle requête. Le cache de préfixe peut éviter de recalculer le texte déjà traité, mais la requête complète doit encore être convertie en identifiants de jetons avant la consultation du cache. GraphTok effectue cette opération sur GPU avec un graphe CUDA et dirige les entrées courtes vers le CPU.
Dans un test du frontal Dynamo, il a soutenu 518 requêtes par seconde pour un trafic de 121 000 jetons, avec un objectif P99 de deux secondes avant le premier jeton; gigatoken en soutenait 296 et le tokeniseur par défaut 18,5. Les GPU des travailleurs étaient simulés et la correction n’a été vérifiée que pour les configurations testées; ces chiffres ne donnent pas une capacité générale de service.
Données
Comparaison des performances du frontal
Le test de charge utilise des travailleurs GPU en partie simulés.
| 121000 | 518 requêtes/s dans un objectif P99 de 2 secondes; travailleurs GPU simulés |
Méthodologie
Dans un test du frontal Dynamo avec un contexte mis en cache de 121 000 jetons et un objectif de délai P99 de 2 secondes, un H100 NVL réel effectuait la tokenisation tandis que les travailleurs GPU étaient simulés.
Mis à jour:
Sujets et lieux
Sujets proposés
- Intelligence artificielleProposé
- Subject suggested from the title or summary: AIarxiv.org ↗
Références géographiques
Seules les références géographiques présentes dans la source sont affichées. L’ouverture d’une carte externe est facultative. Les cartes facultatives utilisent OpenStreetMap. Leur ouverture transmet votre adresse IP et celle de ce site au fournisseur ; les coordonnées restent lisibles sans charger la carte.
- Suède · Rôle du lieu: Couverture · Type de lieu: Pays ou territoire · Précision de localisation: RégionaleÉléments probants
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗