# GraphTok, uzun yapay zekâ istemlerini GPU üzerinde belirteçledi

> KTH Kraliyet Teknoloji Enstitüsü araştırmacıları, büyük dil modeli isteklerini GPU üzerinde belirteçleyen GraphTok sistemini tanıttı. Bir Dynamo ön ucu deneyinde gerçek H100 NVL belirteçleme yaptı; arka uç GPU çalışanları benzetildi.

- Kalıcı adres: https://newsverum.com/tr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026
- Yayıncı: Newsverum
- Bölüm: Teknoloji
- Ülke: İsveç
- Yayın: 2026-10-13T01:40:12+00:00
- Güncelleme: 2026-10-13T01:40:12+00:00
- Kaynak inceleme dönemi: 2026-10-09
- Diğer sürümler: [English](https://newsverum.com/en/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [العربية](https://newsverum.com/ar/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Français](https://newsverum.com/fr/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Español](https://newsverum.com/es/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Deutsch](https://newsverum.com/de/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md), [Português](https://newsverum.com/pt/news/gpu-tokenization-agentic-llm-serving-graphtok-2026.md)

*Kaynak olay tarihini belirtmiyor; gösterilen dönem kaynak incelemesinin dönemidir.*

Yapay zekâ ajanları önceki konuşma ve araç çıktılarını her yeni istekte yeniden gönderiyor. Önek önbelleği modelin daha önce işlediği içeriği atlayabilse de, bu önbelleğe bakılmadan önce metnin tamamının belirteç kimliklerine çevrilmesi gerekiyor. GraphTok, bu işlemi GPU’da CUDA grafiğiyle yapıyor ve kısa girdileri CPU’ya yönlendiriyor.

Dynamo ön ucu deneyinde, 121 bin tokenlık istek yükü için iki saniyelik P99 ilk token hedefi altında saniyede 518 istek sürdürüldü; karşılaştırılan gigatoken 296, varsayılan belirteçleyici 18,5 istek/s düzeyinde kaldı. Çalışan GPU’lar benzetilmişti ve yazarlar doğruluğu yalnızca denenen belirteçleyici yapılandırmaları için doğruladı; sonuçlar genel hizmet kapasitesi olarak yorumlanmamalı.

## Veriler

### Ön uç performans karşılaştırması

Yük testi kısmen benzetilmiş GPU çalışanları kullanır.

Yöntem: Dynamo ön ucunda, önbelleğe alınmış 121 bin tokenlık bağlam ve 2 saniyelik P99 ilk token süresi hedefiyle yapılan deneyde gerçek H100 NVL belirteçleme yaptı; GPU çalışanları benzetildi.

| Bağlam belirteç sayısı | Sürdürülen yük kapsamı |
|---|---|
| 121000 | 2 saniyelik P99 hedefinde saniyede 518 istek; GPU çalışanları benzetilmiş |

Kaynaklar: <https://arxiv.org/abs/2610.13325> · Veriyi indir: [JSON](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=tr&format=json) · [CSV](https://newsverum.com/api/v1/articles/gpu-tokenization-agentic-llm-serving-graphtok-2026/data/frontend-benchmark?lang=tr&format=csv)

## Kaynaklar

- [arXiv](<https://arxiv.org/abs/2610.13325>) (Kaynak kontrolü: 2026-10-13; Yayın: 2026-10-09)

---

Alıntı için yukarıdaki kalıcı adresi kullanın. [Yayın ilkeleri ve düzeltmeler](https://newsverum.com/tr/editorial)