KineMask da MBZUAI testa colisões de objetos em vídeos gerados
O método informa ao modelo a velocidade inicial de um objeto para que ele infira o movimento seguinte.
Período do evento/dos dados:
Publicado: · Atualizado:
Pesquisadores da MBZUAI desenvolveram o KineMask, método que informa a direção e a velocidade iniciais de um objeto a um modelo de geração de vídeo e pede que preveja o movimento seguinte. O usuário seleciona um objeto em uma imagem e define seu movimento inicial; o modelo gera uma cena que pode incluir colisões e consequências. O método fornece uma condição inicial, em vez de toda a trajetória quadro a quadro.
Em um teste sintético de interações descrito no blog técnico da MBZUAI de 12 de outubro, o CogVideoX registrou pontuação FVD de 807,3, enquanto o KineMask treinado com dados de interação obteve 250,7. As pontuações de Video Motion Distance foram 3.514,9 e 143,8, respectivamente. Os resultados se limitam ao benchmark sintético e à comparação dos pesquisadores; o estudo não demonstra que o sistema tenha aprendido internamente as leis físicas.
Dados
Avaliação do KineMask com interações sintéticas
Comparação em conjunto de dados de interações sintéticas
- · ocorrido
Resultados da pesquisa publicados
O estudo apresenta resultados do modelo nas condições sintéticas ou controladas indicadas pela fonte.
Metodologia
O registro não possui unidades adequadas para as pontuações FVD ou Video Motion Distance; os valores permanecem no texto com o contexto do modelo e do conjunto sintético. Os resultados FVD e Video Motion Distance se limitam aos modelos e às condições do conjunto sintético citados; não há comparação ou agregação entre modelos ou países.
Atualizado:
Temas e lugares
Sugestões de temas
- Ciência e tecnologiaAnotação sugerida
- Preserved editorial category/topic; broad candidate onlymbzuai.ac.ae ↗
Referências geográficas
São exibidas apenas referências geográficas fornecidas pela fonte. Abrir um mapa externo é opcional. Os mapas opcionais das notícias usam o OpenStreetMap. Ao abrir um mapa, seu endereço IP e o endereço deste site são enviados ao provedor do mapa. Os dados de localização continuam disponíveis em texto sem carregar o mapa.
- Emirados Árabes Unidos · Função do lugar: Cobertura · Tipo de lugar: país ou área · Precisão da localização: regionalEvidência
- Explicit preserved editorial country/region; no city or national centroid inferredmbzuai.ac.ae ↗