Meta exploite la capacité d’inférence inutilisée pour recommander des publicités
Meta regroupe les poches de capacité inutilisée selon les régions et les accélérateurs dans un pool d’inférence opportuniste partagé, même lorsque la flotte est globalement contrainte. Son système de classement publicitaire utilise deux leviers: Rank More Ads évalue davantage de candidats, tandis que Serve Better Models modifie la part des requêtes dirigées vers un modèle plus puissant.
Période de l’événement / des données:
Publié: · Mis à jour:
Rank More Ads exige des capacités CPU et accélérateur disponibles pour traiter davantage de candidats. Serve Better Models garde le nombre de candidats constant et route certaines requêtes vers le modèle plus puissant, ce qui lui permet d’utiliser un surplus d’accélérateurs seul. Les deux voies consomment des combinaisons différentes de ressources libres.
Meta isole le service de base du travail facultatif, physiquement ou logiquement. Les boucles de contrôle centrales s’ajustent en quelques minutes; des mécanismes côté serveur et client peuvent abandonner le travail facultatif de moindre valeur en quelques millisecondes lorsque la capacité est reprise.
Le routeur choisit les requêtes qui bénéficient du modèle plus puissant par un processus d’exploration-exploitation qui mesure périodiquement la valeur supplémentaire; si la capacité diminue, elles peuvent revenir au modèle de base. L’article de Meta détaille l’architecture et les contrôles, sans chiffrer le gain de performance publicitaire.
Données
Meta exploite la capacité d’inférence inutilisée pour recommander des publicités
- · Survenu
Meta exploite la capacité d’inférence inutilisée pour recommander des publicités
Meta regroupe les poches de capacité inutilisée selon les régions et les accélérateurs dans un pool d’inférence opportuniste partagé, même lorsque la flotte est globalement contrainte. Son système de classement publicitaire utilise deux leviers: Rank More Ads évalue davantage de candidats, tandis que Serve Better Models modifie la part des requêtes dirigées vers un modèle plus puissant.
Méthodologie
Cette fiche d’événement résume la publication datée de la source primaire citée. Les affirmations de produit ou de test de la source ne sont pas présentées comme des résultats vérifiés indépendamment.
Mis à jour:
Sujets et lieux
Sujets proposés
- Science et technologieProposé
- Preserved editorial category/topic; broad candidate onlyengineering.fb.com ↗