# GraphTok transfère le traitement des longues requêtes IA vers le GPU

> Des chercheurs de KTH ont présenté GraphTok, un système qui tokenise les requêtes de grands modèles de langue sur GPU. Dans un test du frontal Dynamo, un H100 NVL réel effectuait la tokenisation tandis que les GPU du service en arrière-plan étaient simulés.

- URL canonique: https://newsverum.com/fr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026
- Éditeur: Newsverum
- Rubrique: Technologie
- Pays: Suède
- Publié: 2026-10-13T01:40:12+00:00
- Mis à jour: 2026-10-13T01:40:12+00:00
- Période de consultation de la source: 2026-10-09
- Autres éditions: [Türkçe](https://newsverum.com/tr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [English](https://newsverum.com/en/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [العربية](https://newsverum.com/ar/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Español](https://newsverum.com/es/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Deutsch](https://newsverum.com/de/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Português](https://newsverum.com/pt/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md)

*La source ne précise pas la date de l’événement ; la période indiquée est celle de la consultation de la source.*

Les agents d’IA renvoient les échanges précédents et les résultats des outils avec chaque nouvelle requête. Le cache de préfixe peut éviter de recalculer le texte déjà traité, mais la requête complète doit encore être convertie en identifiants de jetons avant la consultation du cache. GraphTok effectue cette opération sur GPU avec un graphe CUDA et dirige les entrées courtes vers le CPU.

Dans un test du frontal Dynamo, il a soutenu 518 requêtes par seconde pour un trafic de 121 000 jetons, avec un objectif P99 de deux secondes avant le premier jeton; gigatoken en soutenait 296 et le tokeniseur par défaut 18,5. Les GPU des travailleurs étaient simulés et la correction n’a été vérifiée que pour les configurations testées; ces chiffres ne donnent pas une capacité générale de service.

## Données

### Comparaison des performances du frontal

Le test de charge utilise des travailleurs GPU en partie simulés.

Méthodologie: Dans un test du frontal Dynamo avec un contexte mis en cache de 121 000 jetons et un objectif de délai P99 de 2 secondes, un H100 NVL réel effectuait la tokenisation tandis que les travailleurs GPU étaient simulés.

| Nombre de jetons du contexte | Portée de la charge soutenue |
|---|---|
| 121000 | 518 requêtes/s dans un objectif P99 de 2 secondes; travailleurs GPU simulés |

Sources: <https://arxiv.org/abs/2610.13325> · Télécharger les données: [JSON](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=fr&format=json) · [CSV](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=fr&format=csv)

## Sources

- [arXiv](<https://arxiv.org/abs/2610.13325>) (Source vérifiée: 2026-10-13; Publié: 2026-10-09)

---

Citez l’URL canonique ci-dessus. [Principes éditoriaux et corrections](https://newsverum.com/fr/editorial)