GraphTok, uzun yapay zekâ istemlerini GPU üzerinde belirteçledi
KTH Kraliyet Teknoloji Enstitüsü araştırmacıları, büyük dil modeli isteklerini GPU üzerinde belirteçleyen GraphTok sistemini tanıttı. Bir Dynamo ön ucu deneyinde gerçek H100 NVL belirteçleme yaptı; arka uç GPU çalışanları benzetildi.
Kaynak inceleme dönemi: 2026-10-09
Yayın: · Güncelleme:
Kaynak olay tarihini belirtmiyor; gösterilen dönem kaynak incelemesinin dönemidir.
Yapay zekâ ajanları önceki konuşma ve araç çıktılarını her yeni istekte yeniden gönderiyor. Önek önbelleği modelin daha önce işlediği içeriği atlayabilse de, bu önbelleğe bakılmadan önce metnin tamamının belirteç kimliklerine çevrilmesi gerekiyor. GraphTok, bu işlemi GPU’da CUDA grafiğiyle yapıyor ve kısa girdileri CPU’ya yönlendiriyor.
Dynamo ön ucu deneyinde, 121 bin tokenlık istek yükü için iki saniyelik P99 ilk token hedefi altında saniyede 518 istek sürdürüldü; karşılaştırılan gigatoken 296, varsayılan belirteçleyici 18,5 istek/s düzeyinde kaldı. Çalışan GPU’lar benzetilmişti ve yazarlar doğruluğu yalnızca denenen belirteçleyici yapılandırmaları için doğruladı; sonuçlar genel hizmet kapasitesi olarak yorumlanmamalı.
Veriler
Ön uç performans karşılaştırması
Yük testi kısmen benzetilmiş GPU çalışanları kullanır.
| 121000 | 2 saniyelik P99 hedefinde saniyede 518 istek; GPU çalışanları benzetilmiş |
Yöntem
Dynamo ön ucunda, önbelleğe alınmış 121 bin tokenlık bağlam ve 2 saniyelik P99 ilk token süresi hedefiyle yapılan deneyde gerçek H100 NVL belirteçleme yaptı; GPU çalışanları benzetildi.
Güncelleme:
Konular ve yerler
Konu önerileri
- Yapay zekâÖneri
- Subject suggested from the title or summary: AIarxiv.org ↗
Coğrafi referanslar
Yalnızca kaynakta bulunan coğrafi referanslar gösterilir. Harici haritayı açmak isteğe bağlıdır. İsteğe bağlı haber haritaları OpenStreetMap kullanır. Haritayı açtığınızda IP adresiniz ve site adresi harita sağlayıcısına iletilir; harita yüklenmeden konum verileri metin olarak okunabilir.
- İsveç · Yer rolü: Kapsam · Yer türü: Ülke veya bölge · Konum kesinliği: BölgeselKanıt
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗