Cohere explique comment la forme des requêtes influe sur l’inférence Embed et Rerank
Cohere indique que le choix entre inférence partagée et dédiée pour Embed et Rerank dépend du travail par requête, du trafic, de l’utilisation et de la latence visée. Le nombre de requêtes par minute ne suffit pas: l’indexation par lots privilégie le débit, tandis que la recherche interactive exige une faible latence.
Période de l’événement / des données:
Publié: · Mis à jour:
Dans son calcul illustratif, Cohere prend un lot de 100 textes d’environ 200 jetons chacun, soit 20 000 jetons; avec une configuration particulière utilisée en continu, le point de bascule modélisé vers une capacité dédiée est d’environ 20 requêtes par minute. Le seuil indiqué est d’environ quatre pour des lots de documents plus longs et 29 pour classer 50 candidats.
Ces seuils ne sont pas universels. Le calcul de Cohere suppose un GPU NVIDIA A10 facturé à l’heure, sans remise négociée et avec un trafic continu. L’entreprise précise que le point de bascule varie selon les heures d’activité, les tarifs, le matériel et les exigences de latence.
Données
Cohere explique comment la forme des requêtes influe sur l’inférence Embed et Rerank
- · Survenu
Cohere explique comment la forme des requêtes influe sur l’inférence Embed et Rerank
Cohere indique que le choix entre inférence partagée et dédiée pour Embed et Rerank dépend du travail par requête, du trafic, de l’utilisation et de la latence visée. Le nombre de requêtes par minute ne suffit pas: l’indexation par lots privilégie le débit, tandis que la recherche interactive exige une faible latence.
Méthodologie
Cette fiche d’événement résume la publication datée de la source primaire citée. Les affirmations de produit ou de test de la source ne sont pas présentées comme des résultats vérifiés indépendamment.
Mis à jour:
Sujets et lieux
Sujets proposés
- Science et technologieProposé
- Preserved editorial category/topic; broad candidate onlycohere.com ↗