Meta nutzt freie Inferenzkapazität für Anzeigenempfehlungen
Meta bündelt lokal freie Kapazität über Regionen und Beschleunigertypen hinweg zu einem gemeinsamen, opportunistischen Inferenzpool, obwohl die Flotte insgesamt ausgelastet sein kann. Das Anzeigensystem nutzt zwei Stellhebel: Rank More Ads bewertet zusätzliche Kandidaten; Serve Better Models erhöht oder senkt den Anteil der Anfragen an ein leistungsfähigeres Modell.
Ereignis-/Datenzeitraum:
Veröffentlicht: · Aktualisiert:
Rank More Ads benötigt freie CPU- und Beschleunigerkapazität für zusätzliche Kandidaten. Serve Better Models hält die Kandidatenzahl konstant und leitet ausgewählte Anfragen an das stärkere Modell weiter, sodass es auch reine Beschleunigerreserven nutzen kann. Beide Wege brauchen unterschiedliche Ressourcenmischungen.
Meta trennt den Basisbetrieb physisch oder logisch von optionaler Arbeit. Zentrale Regelkreise passen sich innerhalb von Minuten an; Lastabwurf auf Server- und Clientseite kann geringer bewertete optionale Arbeit innerhalb von Millisekunden verwerfen, wenn Kapazität zurückgezogen wird.
Der Anfragerouter wählt mithilfe eines Explore-and-Exploit-Verfahrens, das den Zusatznutzen regelmäßig misst, Anfragen für das stärkere Modell aus. Sinkt die Kapazität, können sie auf das Basismodell zurückfallen. Metas Beitrag beschreibt Architektur und Kontrollen, nennt jedoch keinen bezifferten Anzeigen-Leistungszuwachs.
Daten
Meta nutzt freie Inferenzkapazität für Anzeigenempfehlungen
- · eingetreten
Meta nutzt freie Inferenzkapazität für Anzeigenempfehlungen
Meta bündelt lokal freie Kapazität über Regionen und Beschleunigertypen hinweg zu einem gemeinsamen, opportunistischen Inferenzpool, obwohl die Flotte insgesamt ausgelastet sein kann. Das Anzeigensystem nutzt zwei Stellhebel: Rank More Ads bewertet zusätzliche Kandidaten; Serve Better Models erhöht oder senkt den Anteil der Anfragen an ein leistungsfähigeres Modell.
Methodik
Dieser Ereigniseintrag fasst die datierte Mitteilung der genannten Primärquelle zusammen. Produkt- oder Testangaben der Quelle werden nicht als unabhängig verifizierte Ergebnisse dargestellt.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyengineering.fb.com ↗