# Cohere: Anfrageform beeinflusst Inferenz für Embedding und Reranking

> Cohere zufolge hängt die Wahl zwischen gemeinsam genutzter und dedizierter Inferenz für Embed und Rerank von der Arbeit je Anfrage, dem Verkehrsmuster, der Auslastung und den Latenzzielen ab. Anfragen pro Minute allein reichen nicht: Batch-Indizierung braucht Durchsatz, interaktive Suche geringe Latenz.

- Kanonische URL: https://newsverum.com/de/news/cohere-shared-dedicated-embed-rerank-inference-costs
- Herausgeber: Newsverum
- Rubrik: Technologie
- Veröffentlicht: 2026-10-15T22:33:53+00:00
- Aktualisiert: 2026-10-15T22:33:53+00:00
- Ereignis- oder Datenzeitraum: 2026-10-09
- Weitere Ausgaben: [Türkçe](https://newsverum.com/tr/news/cohere-shared-dedicated-embed-rerank-inference-costs.md), [English](https://newsverum.com/en/news/cohere-shared-dedicated-embed-rerank-inference-costs.md), [العربية](https://newsverum.com/ar/news/cohere-shared-dedicated-embed-rerank-inference-costs.md), [Français](https://newsverum.com/fr/news/cohere-shared-dedicated-embed-rerank-inference-costs.md), [Español](https://newsverum.com/es/news/cohere-shared-dedicated-embed-rerank-inference-costs.md), [Português](https://newsverum.com/pt/news/cohere-shared-dedicated-embed-rerank-inference-costs.md)

Cohere rechnet beispielhaft mit 100 Texten zu je etwa 200 Tokens, also 20.000 Tokens. Bei einer bestimmten, durchgehend genutzten Konfiguration liegt der modellierte Wechselpunkt zu dedizierter Kapazität bei rund 20 Anfragen pro Minute. Für längere Dokumentenbatches nennt der Beitrag etwa vier, für das Reranking von 50 Kandidaten 29 Anfragen pro Minute.

Dies sind keine allgemeinen Schwellenwerte. Cohere nimmt eine stundenweise abgerechnete NVIDIA-A10-GPU, keine ausgehandelten Rabatte und durchgehenden Verkehr an. Laut Unternehmen verschiebt sich der Kostenwechselpunkt mit Betriebsstunden, Preisen, Hardware und Latenzanforderungen.

## Daten

### Cohere: Anfrageform beeinflusst Inferenz für Embedding und Reranking

Methodik: Dieser Ereigniseintrag fasst die datierte Mitteilung der genannten Primärquelle zusammen. Produkt- oder Testangaben der Quelle werden nicht als unabhängig verifizierte Ergebnisse dargestellt.

| date | label | description | status |
|---|---|---|---|
| 2026-10-09 | Cohere: Anfrageform beeinflusst Inferenz für Embedding und Reranking | Cohere zufolge hängt die Wahl zwischen gemeinsam genutzter und dedizierter Inferenz für Embed und Rerank von der Arbeit je Anfrage, dem Verkehrsmuster, der Auslastung und den Latenzzielen ab. Anfragen pro Minute allein reichen nicht: Batch-Indizierung braucht Durchsatz, interaktive Suche geringe Latenz. | occurred |

Quellen: <https://cohere.com/blog/shared-or-dedicated-inference-for-embed-rerank> · Daten herunterladen: [JSON](https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs/data/source-event?lang=de&format=json) · [CSV](https://newsverum.com/api/v1/articles/cohere-shared-dedicated-embed-rerank-inference-costs/data/source-event?lang=de&format=csv)

## Quellen

- [Cohere](<https://cohere.com/blog/shared-or-dedicated-inference-for-embed-rerank>) (Quelle geprüft: 2026-10-15; Veröffentlicht: 2026-10-09)

---

Zitieren Sie die oben angegebene kanonische URL. [Redaktionsstandards und Korrekturen](https://newsverum.com/de/editorial)