KineMask de MBZUAI prueba las colisiones de objetos en vídeos generados
El método proporciona al modelo la velocidad inicial de un objeto para que infiera el movimiento posterior.
Período del evento / de los datos:
Publicado: · Actualizado:
Investigadores de MBZUAI desarrollaron KineMask, un método que proporciona a un modelo de generación de vídeo la dirección y velocidad iniciales de un objeto y le pide predecir el movimiento posterior. El usuario selecciona un objeto en una imagen y especifica su movimiento inicial; el modelo genera una escena que puede incluir colisiones y sus consecuencias. El método aporta una condición inicial, no una trayectoria completa para cada fotograma.
En una prueba sintética de interacciones descrita en el blog técnico de MBZUAI del 12 de octubre, CogVideoX obtuvo una puntuación FVD de 807,3, frente a 250,7 de KineMask entrenado con datos de interacciones. Sus valores de Video Motion Distance fueron 3.514,9 y 143,8, respectivamente. Los resultados se limitan a la prueba sintética y a la comparación de los investigadores; el estudio no demuestra que el sistema haya aprendido internamente las leyes físicas.
Datos
Evaluación de KineMask con interacciones sintéticas
Comparación con un conjunto de datos de interacciones sintéticas
- · Ocurrido
Resultados de investigación publicados
El estudio presenta resultados del modelo bajo las condiciones sintéticas o controladas indicadas en la fuente.
Metodología
El registro no dispone de unidades adecuadas para las puntuaciones FVD o Video Motion Distance; las cifras permanecen en el texto con el contexto del modelo y del conjunto sintético. Los resultados FVD y Video Motion Distance se limitan a los modelos y al conjunto sintético citados; no se comparan ni agregan entre modelos o países.
Actualizado:
Temas y lugares
Propuestas temáticas
- Ciencia y tecnologíaSugerido
- Preserved editorial category/topic; broad candidate onlymbzuai.ac.ae ↗
Referencias geográficas
Solo se muestran referencias geográficas proporcionadas por la fuente. Abrir un mapa externo es opcional. Los mapas opcionales usan OpenStreetMap. Al abrirlos se envían tu dirección IP y la de este sitio al proveedor; los datos de ubicación pueden leerse sin cargar el mapa.
- Emiratos Árabes Unidos · Función del lugar: Cobertura · Tipo de lugar: País o área · Precisión de ubicación: RegionalEvidencia
- Explicit preserved editorial country/region; no city or national centroid inferredmbzuai.ac.ae ↗