KineMask de MBZUAI teste les collisions d’objets dans la vidéo générée
La méthode fournit la vitesse initiale d’un objet au modèle, qui doit en déduire la suite du mouvement.
Période de l’événement / des données:
Publié: · Mis à jour:
Des chercheurs de MBZUAI ont développé KineMask, une méthode qui fournit à un modèle de génération vidéo la direction et la vitesse initiales d’un objet, puis lui demande de prédire la suite du mouvement. L’utilisateur sélectionne un objet dans une image et indique son mouvement initial; le modèle génère une scène pouvant inclure collisions et conséquences. La méthode donne une condition initiale plutôt qu’une trajectoire image par image.
Dans un test synthétique d’interactions décrit dans le billet technique de MBZUAI du 12 octobre, CogVideoX a obtenu un score FVD de 807,3, contre 250,7 pour KineMask entraîné sur des données d’interaction. Leurs scores Video Motion Distance étaient respectivement de 3 514,9 et 143,8. Ces résultats se limitent au benchmark synthétique et à la comparaison des chercheurs; ils ne démontrent pas que le système a appris intérieurement les lois physiques.
Données
Évaluation KineMask sur interactions synthétiques
Comparaison sur un jeu de données d’interactions synthétiques
- · Survenu
Résultats de recherche publiés
L’étude présente des résultats du modèle dans les conditions synthétiques ou contrôlées indiquées par la source.
Méthodologie
Le registre ne propose pas d’unités adaptées aux scores FVD ou Video Motion Distance ; les chiffres restent dans le texte avec le contexte du modèle et du jeu synthétique. Les scores FVD et Video Motion Distance se limitent aux modèles et au jeu synthétique cités ; aucune comparaison ni agrégation entre modèles ou pays n’est effectuée.
Mis à jour:
Sujets et lieux
Sujets proposés
- Science et technologieProposé
- Preserved editorial category/topic; broad candidate onlymbzuai.ac.ae ↗
Références géographiques
Seules les références géographiques présentes dans la source sont affichées. L’ouverture d’une carte externe est facultative. Les cartes facultatives utilisent OpenStreetMap. Leur ouverture transmet votre adresse IP et celle de ce site au fournisseur ; les coordonnées restent lisibles sans charger la carte.
- Émirats arabes unis · Rôle du lieu: Couverture · Type de lieu: Pays ou territoire · Précision de localisation: RégionaleÉléments probants
- Explicit preserved editorial country/region; no city or national centroid inferredmbzuai.ac.ae ↗