Cohere: embedding ve yeniden sıralama işlerinde istek biçimi çıkarımı etkiliyor
Cohere, Embed ve Rerank uygulamalarında ortak ya da özel çıkarım kapasitesi seçiminin istek başına işlem miktarı, trafik düzeni, kullanım ve gecikme hedeflerine bağlı olduğunu söylüyor. Dakikadaki çağrı sayısı tek başına yeterli değil: toplu katalog indeksleme yüksek hacimli iş yaparken, arama sorguları düşük gecikme gerektiriyor.
Olay / veri dönemi:
Yayın: · Güncelleme:
Cohere’in örnek hesabında 100 metinlik, her biri yaklaşık 200 token içeren toplu katalog isteği 20 bin token işliyor; sürekli çalıştığı varsayılan belirli bir kurulumda özel kapasite eşiğini dakikada yaklaşık 20 istek oluşturuyor. Yaklaşık 1.000 tokenlık uzun belge partileri için eşik dakikada dört istek, 50 adayın yeniden sıralanmasında yaklaşık 29 istek olarak veriliyor.
Bunlar genel eşikler değil; Cohere hesabı saatlik ücretli tek NVIDIA A10 GPU’su, pazarlık indirimi olmaması ve trafiğin gün boyu sürmesi varsayımlarına dayanıyor. Şirket, etkin çalışma süresi, fiyatlandırma, donanım ve gecikme hedefi değiştikçe maliyet dengesinin de değişeceğini belirtiyor.
Veriler
Cohere: embedding ve yeniden sıralama işlerinde istek biçimi çıkarımı etkiliyor
- · Gerçekleşti
Cohere: embedding ve yeniden sıralama işlerinde istek biçimi çıkarımı etkiliyor
Cohere, Embed ve Rerank uygulamalarında ortak ya da özel çıkarım kapasitesi seçiminin istek başına işlem miktarı, trafik düzeni, kullanım ve gecikme hedeflerine bağlı olduğunu söylüyor. Dakikadaki çağrı sayısı tek başına yeterli değil: toplu katalog indeksleme yüksek hacimli iş yaparken, arama sorguları düşük gecikme gerektiriyor.
Yöntem
Bu olay kaydı, belirtilen birincil kaynağın tarihli açıklamasını özetler. Kaynakta verilen ürün veya test iddiaları bağımsız olarak doğrulanmış sonuçlar olarak sunulmaz.
Güncelleme:
Konular ve yerler
Konu önerileri
- Bilim ve teknolojiÖneri
- Preserved editorial category/topic; broad candidate onlycohere.com ↗