{"article":{"annotation":{"article_id":"cohere-shared-dedicated-embed-rerank-inference-costs","available_at":"2026-10-15T22:34:01.454226Z","geography_revision":"ef6ee0010dda5fe7b240fd514749b43e214c57da73222d2e40ec83b276dd0977","id":"133b8e2379a66c0548f90b89f0b288c167c1a1de75dea93a72a411b7df274344","input_sha256":"537ea2e393ba6d3f9a830bf131c1a76aeea9f80d538d3621f3753075963a7bd5","limitations":["Rule-derived subjects are candidates, not verified editorial labels or calibrated model probabilities.","Coverage is distinct from event location. Unknown country/city/coordinates remain absent; no automatic geocoding.","Article geometries keep their stated precision and methodology; reproducing them is not independent coordinate verification."],"method":"controlled-rules-v1","places":[],"rules_sha256":"fb5ad3c27c91cb840f7a0a05f7f64a5cb26ad0374409ff9457f277c7092e22b4","schema_version":1,"subjects":[{"concept_id":"medtop:13000000","confidence":null,"confidence_method":null,"evidence":[{"field":"category+topics","language":"en","note":"Preserved editorial category/topic; broad candidate only","source_urls":["https://cohere.com/blog/shared-or-dedicated-inference-for-embed-rerank"]}],"method":"controlled-rules-v1","rule_id":"technology-broad","status":"candidate"}],"taxonomy_revision":"1f2db31d811fca07e99b16d402c10e2cc2965c9df1c7b41d9be348b40a24e7fb","taxonomy_version":"IPTC Media Topics 2026-Q2"},"api_url":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs?lang=de","category":"technology","content":{"key_points":[],"paragraphs":["Cohere zufolge hängt die Wahl zwischen gemeinsam genutzter und dedizierter Inferenz für Embed und Rerank von der Arbeit je Anfrage, dem Verkehrsmuster, der Auslastung und den Latenzzielen ab. Anfragen pro Minute allein reichen nicht: Batch-Indizierung braucht Durchsatz, interaktive Suche geringe Latenz.","Cohere rechnet beispielhaft mit 100 Texten zu je etwa 200 Tokens, also 20.000 Tokens. Bei einer bestimmten, durchgehend genutzten Konfiguration liegt der modellierte Wechselpunkt zu dedizierter Kapazität bei rund 20 Anfragen pro Minute. Für längere Dokumentenbatches nennt der Beitrag etwa vier, für das Reranking von 50 Kandidaten 29 Anfragen pro Minute.","Dies sind keine allgemeinen Schwellenwerte. Cohere nimmt eine stundenweise abgerechnete NVIDIA-A10-GPU, keine ausgehandelten Rabatte und durchgehenden Verkehr an. Laut Unternehmen verschiebt sich der Kostenwechselpunkt mit Betriebsstunden, Preisen, Hardware und Latenzanforderungen."],"sections":[]},"corrections":[],"country":null,"data":{"blocks":[{"description":{"ar":"تقول Cohere إن الاختيار بين الاستدلال المشترك والمخصص لـEmbed وRerank يعتمد على حجم العمل في كل طلب ونمط الحركة والاستخدام وزمن الاستجابة. ولا يكفي عدد الطلبات في الدقيقة وحده؛ ففهرسة الكتالوج على دفعات تهتم بالإنتاجية، بينما يتطلب البحث التفاعلي استجابة سريعة.","de":"Cohere zufolge hängt die Wahl zwischen gemeinsam genutzter und dedizierter Inferenz für Embed und Rerank von der Arbeit je Anfrage, dem Verkehrsmuster, der Auslastung und den Latenzzielen ab. Anfragen pro Minute allein reichen nicht: Batch-Indizierung braucht Durchsatz, interaktive Suche geringe Latenz.","en":"Cohere says the choice between shared and dedicated inference for Embed and Rerank depends on work per request, traffic patterns, utilization and latency targets. Requests per minute alone can mislead: batch catalog indexing is throughput-oriented, while interactive search needs low latency.","es":"Cohere afirma que elegir inferencia compartida o dedicada para Embed y Rerank depende del trabajo por solicitud, el patrón de tráfico, la utilización y la latencia requerida. Las solicitudes por minuto no bastan: la indexación por lotes prioriza el rendimiento, mientras que la búsqueda interactiva requiere baja latencia.","fr":"Cohere indique que le choix entre inférence partagée et dédiée pour Embed et Rerank dépend du travail par requête, du trafic, de l’utilisation et de la latence visée. Le nombre de requêtes par minute ne suffit pas: l’indexation par lots privilégie le débit, tandis que la recherche interactive exige une faible latence.","pt":"Segundo a Cohere, a escolha entre inferência partilhada e dedicada para Embed e Rerank depende do trabalho por pedido, do padrão de tráfego, da utilização e da latência pretendida. Os pedidos por minuto não bastam: a indexação em lote privilegia o débito, enquanto a pesquisa interativa exige baixa latência.","tr":"Cohere, Embed ve Rerank uygulamalarında ortak ya da özel çıkarım kapasitesi seçiminin istek başına işlem miktarı, trafik düzeni, kullanım ve gecikme hedeflerine bağlı olduğunu söylüyor. Dakikadaki çağrı sayısı tek başına yeterli değil: toplu katalog indeksleme yüksek hacimli iş yaparken, arama sorguları düşük gecikme gerektiriyor."},"id":"source-event","items":[{"date":"2026-10-09","description":{"ar":"تقول Cohere إن الاختيار بين الاستدلال المشترك والمخصص لـEmbed وRerank يعتمد على حجم العمل في كل طلب ونمط الحركة والاستخدام وزمن الاستجابة. ولا يكفي عدد الطلبات في الدقيقة وحده؛ ففهرسة الكتالوج على دفعات تهتم بالإنتاجية، بينما يتطلب البحث التفاعلي استجابة سريعة.","de":"Cohere zufolge hängt die Wahl zwischen gemeinsam genutzter und dedizierter Inferenz für Embed und Rerank von der Arbeit je Anfrage, dem Verkehrsmuster, der Auslastung und den Latenzzielen ab. Anfragen pro Minute allein reichen nicht: Batch-Indizierung braucht Durchsatz, interaktive Suche geringe Latenz.","en":"Cohere says the choice between shared and dedicated inference for Embed and Rerank depends on work per request, traffic patterns, utilization and latency targets. Requests per minute alone can mislead: batch catalog indexing is throughput-oriented, while interactive search needs low latency.","es":"Cohere afirma que elegir inferencia compartida o dedicada para Embed y Rerank depende del trabajo por solicitud, el patrón de tráfico, la utilización y la latencia requerida. Las solicitudes por minuto no bastan: la indexación por lotes prioriza el rendimiento, mientras que la búsqueda interactiva requiere baja latencia.","fr":"Cohere indique que le choix entre inférence partagée et dédiée pour Embed et Rerank dépend du travail par requête, du trafic, de l’utilisation et de la latence visée. Le nombre de requêtes par minute ne suffit pas: l’indexation par lots privilégie le débit, tandis que la recherche interactive exige une faible latence.","pt":"Segundo a Cohere, a escolha entre inferência partilhada e dedicada para Embed e Rerank depende do trabalho por pedido, do padrão de tráfego, da utilização e da latência pretendida. Os pedidos por minuto não bastam: a indexação em lote privilegia o débito, enquanto a pesquisa interativa exige baixa latência.","tr":"Cohere, Embed ve Rerank uygulamalarında ortak ya da özel çıkarım kapasitesi seçiminin istek başına işlem miktarı, trafik düzeni, kullanım ve gecikme hedeflerine bağlı olduğunu söylüyor. Dakikadaki çağrı sayısı tek başına yeterli değil: toplu katalog indeksleme yüksek hacimli iş yaparken, arama sorguları düşük gecikme gerektiriyor."},"label":{"ar":"تقول Cohere إن شكل الطلب يؤثر في خيارات استدلال التضمين وإعادة الترتيب","de":"Cohere: Anfrageform beeinflusst Inferenz für Embedding und Reranking","en":"Cohere says request shape affects embedding and reranking inference choices","es":"Cohere explica cómo el perfil de las solicitudes afecta la inferencia de Embed y Rerank","fr":"Cohere explique comment la forme des requêtes influe sur l’inférence Embed et Rerank","pt":"Cohere explica como o perfil dos pedidos afeta a inferência de Embed e Rerank","tr":"Cohere: embedding ve yeniden sıralama işlerinde istek biçimi çıkarımı etkiliyor"},"status":"occurred"}],"methodology":{"ar":"يلخص سجل الحدث هذا البيان المؤرخ في المصدر الأولي المحدد. ولا تُعرض ادعاءات المنتج أو الاختبار الواردة فيه على أنها نتائج تم التحقق منها بصورة مستقلة.","de":"Dieser Ereigniseintrag fasst die datierte Mitteilung der genannten Primärquelle zusammen. Produkt- oder Testangaben der Quelle werden nicht als unabhängig verifizierte Ergebnisse dargestellt.","en":"This event record summarizes the dated statement in the cited primary source. Product or test claims from the source are not presented as independently verified results.","es":"Este registro de evento resume la publicación fechada de la fuente primaria citada. Las afirmaciones de producto o prueba de la fuente no se presentan como resultados verificados de forma independiente.","fr":"Cette fiche d’événement résume la publication datée de la source primaire citée. Les affirmations de produit ou de test de la source ne sont pas présentées comme des résultats vérifiés indépendamment.","pt":"Este registo do evento resume a publicação datada da fonte primária citada. As alegações de produto ou teste da fonte não são apresentadas como resultados verificados de forma independente.","tr":"Bu olay kaydı, belirtilen birincil kaynağın tarihli açıklamasını özetler. Kaynakta verilen ürün veya test iddiaları bağımsız olarak doğrulanmış sonuçlar olarak sunulmaz."},"sourceUrls":["https://cohere.com/blog/shared-or-dedicated-inference-for-embed-rerank"],"title":{"ar":"تقول Cohere إن شكل الطلب يؤثر في خيارات استدلال التضمين وإعادة الترتيب","de":"Cohere: Anfrageform beeinflusst Inferenz für Embedding und Reranking","en":"Cohere says request shape affects embedding and reranking inference choices","es":"Cohere explica cómo el perfil de las solicitudes afecta la inferencia de Embed y Rerank","fr":"Cohere explique comment la forme des requêtes influe sur l’inférence Embed et Rerank","pt":"Cohere explica como o perfil dos pedidos afeta a inferência de Embed e Rerank","tr":"Cohere: embedding ve yeniden sıralama işlerinde istek biçimi çıkarımı etkiliyor"},"type":"events","updatedAt":"2026-10-15T22:22:55+00:00"}],"version":1},"data_downloads":[{"formats":{"csv":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs/data/source-event?lang=de&format=csv","json":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs/data/source-event?lang=de&format=json"},"id":"source-event"}],"data_types":["events"],"editorial_illustration":{"alt":"Konzeptionelle Darstellung von Technologie, Prozessoren und verbundenen Informationen.","asset_id":"newsverum-v1-technology","avif_variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.avif","width":480},{"height":480,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-720.avif","width":720},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.avif","width":960},{"height":800,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1200.avif","width":1200},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.avif","width":1536}],"credit":"Newsverum","documentary":false,"height":1024,"kind":"symbolic-editorial-illustration","language":"de","scope":"topic","url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.webp","width":480},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.webp","width":960},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","width":1536}],"width":1536},"event_id":"event-8929191b-89e0-51b5-8304-46623bc1b1c3","event_period":"2026-10-09","event_period_basis":"event-or-reference-period","id":"cohere-shared-dedicated-embed-rerank-inference-costs","image":null,"importance":0.6,"language":"de","modified_at":"2026-10-15T22:33:53+00:00","publication_basis":"publication-record","published_at":"2026-10-15T22:33:53+00:00","reading_minutes":1,"region":"world","relations":[],"section_illustration":{"alt":"Konzeptionelle Darstellung von Technologie, Prozessoren und verbundenen Informationen.","asset_id":"newsverum-v1-technology","avif_variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.avif","width":480},{"height":480,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-720.avif","width":720},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.avif","width":960},{"height":800,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1200.avif","width":1200},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.avif","width":1536}],"credit":"Newsverum","documentary":false,"height":1024,"kind":"symbolic-editorial-illustration","language":"de","scope":"section","url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","variants":[{"height":320,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-480.webp","width":480},{"height":640,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-960.webp","width":960},{"height":1024,"url":"https://newsverum.com/assets/newsverum/illustrations/v1/technology-1536.webp","width":1536}],"width":1536},"slug":"cohere-shared-dedicated-embed-rerank-inference-costs","sources":[{"checkedAt":"2026-10-15","name":"Cohere","publishedAt":"2026-10-09","url":"https://cohere.com/blog/shared-or-dedicated-inference-for-embed-rerank"}],"summary":"Cohere zufolge hängt die Wahl zwischen gemeinsam genutzter und dedizierter Inferenz für Embed und Rerank von der Arbeit je Anfrage, dem Verkehrsmuster, der Auslastung und den Latenzzielen ab. Anfragen pro Minute allein reichen nicht: Batch-Indizierung braucht Durchsatz, interaktive Suche geringe Latenz.","text":"Cohere zufolge hängt die Wahl zwischen gemeinsam genutzter und dedizierter Inferenz für Embed und Rerank von der Arbeit je Anfrage, dem Verkehrsmuster, der Auslastung und den Latenzzielen ab. Anfragen pro Minute allein reichen nicht: Batch-Indizierung braucht Durchsatz, interaktive Suche geringe Latenz.\n\nCohere zufolge hängt die Wahl zwischen gemeinsam genutzter und dedizierter Inferenz für Embed und Rerank von der Arbeit je Anfrage, dem Verkehrsmuster, der Auslastung und den Latenzzielen ab. Anfragen pro Minute allein reichen nicht: Batch-Indizierung braucht Durchsatz, interaktive Suche geringe Latenz.\n\nCohere rechnet beispielhaft mit 100 Texten zu je etwa 200 Tokens, also 20.000 Tokens. Bei einer bestimmten, durchgehend genutzten Konfiguration liegt der modellierte Wechselpunkt zu dedizierter Kapazität bei rund 20 Anfragen pro Minute. Für längere Dokumentenbatches nennt der Beitrag etwa vier, für das Reranking von 50 Kandidaten 29 Anfragen pro Minute.\n\nDies sind keine allgemeinen Schwellenwerte. Cohere nimmt eine stundenweise abgerechnete NVIDIA-A10-GPU, keine ausgehandelten Rabatte und durchgehenden Verkehr an. Laut Unternehmen verschiebt sich der Kostenwechselpunkt mit Betriebsstunden, Preisen, Hardware und Latenzanforderungen.","title":"Cohere: Anfrageform beeinflusst Inferenz für Embedding und Reranking","topics":[],"translations":[{"api_url":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs?lang=tr","language":"tr","url":"https://newsverum.com/tr/news/cohere-shared-dedicated-embed-rerank-inference-costs"},{"api_url":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs?lang=en","language":"en","url":"https://newsverum.com/en/news/cohere-shared-dedicated-embed-rerank-inference-costs"},{"api_url":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs?lang=ar","language":"ar","url":"https://newsverum.com/ar/news/cohere-shared-dedicated-embed-rerank-inference-costs"},{"api_url":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs?lang=fr","language":"fr","url":"https://newsverum.com/fr/news/cohere-shared-dedicated-embed-rerank-inference-costs"},{"api_url":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs?lang=es","language":"es","url":"https://newsverum.com/es/news/cohere-shared-dedicated-embed-rerank-inference-costs"},{"api_url":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs?lang=de","language":"de","url":"https://newsverum.com/de/news/cohere-shared-dedicated-embed-rerank-inference-costs"},{"api_url":"https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs?lang=pt","language":"pt","url":"https://newsverum.com/pt/news/cohere-shared-dedicated-embed-rerank-inference-costs"}],"url":"https://newsverum.com/de/news/cohere-shared-dedicated-embed-rerank-inference-costs"},"version":"1"}