A Meta usa capacidade de inferência ociosa para recomendações de anúncios
A Meta reúne bolsas de capacidade ociosa por região e tipo de acelerador num conjunto partilhado de inferência oportunista, mesmo quando a frota está globalmente limitada. O sistema de classificação de anúncios usa duas alavancas: Rank More Ads avalia candidatos adicionais e Serve Better Models altera a proporção de pedidos enviada para um modelo mais potente.
Período do evento/dos dados:
Publicado: · Atualizado:
Rank More Ads precisa de capacidade excedente de CPU e aceleradores para avaliar candidatos adicionais. Serve Better Models mantém o número de candidatos e encaminha pedidos selecionados para o modelo mais potente, permitindo usar apenas excedente de aceleradores. Os dois mecanismos consomem combinações diferentes de recursos livres.
A Meta isola o serviço base do trabalho opcional, física ou logicamente. Os ciclos centrais de controlo ajustam-se em minutos, enquanto a redução de carga no servidor e no cliente pode descartar trabalho opcional de menor valor em milissegundos quando a capacidade é recuperada.
O encaminhador escolhe os pedidos que recebem o modelo mais potente através de um processo de exploração e aproveitamento que mede periodicamente o valor incremental; se a capacidade diminuir, podem voltar ao modelo base. O artigo da Meta descreve a arquitetura e os controlos, mas não quantifica ganhos no desempenho dos anúncios.
Dados
A Meta usa capacidade de inferência ociosa para recomendações de anúncios
- · ocorrido
A Meta usa capacidade de inferência ociosa para recomendações de anúncios
A Meta reúne bolsas de capacidade ociosa por região e tipo de acelerador num conjunto partilhado de inferência oportunista, mesmo quando a frota está globalmente limitada. O sistema de classificação de anúncios usa duas alavancas: Rank More Ads avalia candidatos adicionais e Serve Better Models altera a proporção de pedidos enviada para um modelo mais potente.
Metodologia
Este registo do evento resume a publicação datada da fonte primária citada. As alegações de produto ou teste da fonte não são apresentadas como resultados verificados de forma independente.
Atualizado:
Temas e lugares
Sugestões de temas
- Ciência e tecnologiaAnotação sugerida
- Preserved editorial category/topic; broad candidate onlyengineering.fb.com ↗