Cohere explica como o perfil dos pedidos afeta a inferência de Embed e Rerank
Segundo a Cohere, a escolha entre inferência partilhada e dedicada para Embed e Rerank depende do trabalho por pedido, do padrão de tráfego, da utilização e da latência pretendida. Os pedidos por minuto não bastam: a indexação em lote privilegia o débito, enquanto a pesquisa interativa exige baixa latência.
Período do evento/dos dados:
Publicado: · Atualizado:
No cálculo ilustrativo, a Cohere considera um lote de 100 textos com cerca de 200 tokens cada, ou 20 mil tokens; numa configuração específica usada continuamente, o ponto de equilíbrio modelado para capacidade dedicada é de cerca de 20 pedidos por minuto. Para lotes de documentos mais longos indica cerca de quatro pedidos e, para reordenar 50 candidatos, 29.
Estes não são limiares universais. O cálculo da Cohere pressupõe uma GPU NVIDIA A10 faturada à hora, sem descontos negociados e tráfego contínuo. A empresa afirma que o ponto de equilíbrio muda conforme as horas de atividade, os preços, o hardware e os requisitos de latência.
Dados
Cohere explica como o perfil dos pedidos afeta a inferência de Embed e Rerank
- · ocorrido
Cohere explica como o perfil dos pedidos afeta a inferência de Embed e Rerank
Segundo a Cohere, a escolha entre inferência partilhada e dedicada para Embed e Rerank depende do trabalho por pedido, do padrão de tráfego, da utilização e da latência pretendida. Os pedidos por minuto não bastam: a indexação em lote privilegia o débito, enquanto a pesquisa interativa exige baixa latência.
Metodologia
Este registo do evento resume a publicação datada da fonte primária citada. As alegações de produto ou teste da fonte não são apresentadas como resultados verificados de forma independente.
Atualizado:
Temas e lugares
Sugestões de temas
- Ciência e tecnologiaAnotação sugerida
- Preserved editorial category/topic; broad candidate onlycohere.com ↗