MBZUAIs KineMask prüft Objektkollisionen in erzeugten Videos
Das Verfahren gibt dem Modell die Anfangsgeschwindigkeit eines Objekts vor und lässt es die weitere Bewegung ableiten.
Ereignis-/Datenzeitraum:
Veröffentlicht: · Aktualisiert:
Forschende der MBZUAI entwickelten KineMask, ein Verfahren, das einem Videogenerierungsmodell die Anfangsrichtung und -geschwindigkeit eines Objekts vorgibt und es anschließend die Bewegung ableiten lässt. Nutzende wählen ein Objekt in einem Bild aus und geben eine Anfangsbewegung an; das Modell erzeugt eine Szene, die Kollisionen und deren Folgen enthalten kann. Es erhält damit eine Anfangsbedingung statt einer vollständigen Trajektorie für jedes Einzelbild.
In einem synthetischen Interaktionstest, den der technische MBZUAI-Beitrag am 12. Oktober beschrieb, erzielte CogVideoX einen FVD-Wert von 807,3; KineMask mit Training auf Interaktionsdaten kam auf 250,7. Die Werte für Video Motion Distance lagen bei 3.514,9 beziehungsweise 143,8. Die Ergebnisse gelten für den synthetischen Benchmark und den Vergleich der Forschenden; sie belegen nicht, dass das System physikalische Gesetze intern gelernt hat.
Daten
KineMask-Benchmark mit synthetischen Interaktionen
Vergleich anhand eines Datensatzes synthetischer Interaktionen
- · eingetreten
Forschungsergebnisse veröffentlicht
Die Studie berichtet Modellergebnisse unter den in der Quelle genannten synthetischen oder kontrollierten Testbedingungen.
Methodik
Für FVD- und Video-Motion-Distance-Werte gibt es keine passenden registrierten Einheiten; die Zahlen bleiben mit Modell- und synthetischem Datensatzkontext im Text. FVD- und Video-Motion-Distance-Ergebnisse gelten nur für die genannten Modelle und synthetischen Datensatzbedingungen; keine modell- oder länderübergreifende Aggregation.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlymbzuai.ac.ae ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Vereinigte Arabische Emirate · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredmbzuai.ac.ae ↗